Povrch hory se odhaduje na 7,3 km2, svahy mají všude podobný sklon s průměrem 12°. Po Žárovém vrchu je rozeseto plno kamenů a skalek. I na vrcholu stojí skalisko, ze kterého je parádní výhled na Praděd, Petráky, Lysý vrch atd. Turistická chata není v okolí ani jedna, zato lovecké hned tři a všechny u asfaltečky Zámecká cesta. Sedlová chata stojí u rozcestí na JZ, Pytlácká na SZ a Neděle na SV spíše pod Pytláckými kameny. Tento vrcholek se zajímavým skalním městem se často nazývá Plošina.
Na Žárovém vrchu by se kromě hlavního daly rozeznat i 3 vedlejší vrcholy nebo spíše vyvýšeniny - SZ (1.047 m, 400 m od hlavního), SV (1.045 m, 850 m) a JZ u Pytlácké skály (1.012 m, 610 m). Studánky najdeme na svazích 4: severně u Zámecké cesty (900 mnm, 880 m vzdušnou čarou od vrcholu), východně u Šestkové cesty (870 mnm, 920 m), Živá voda severně u silnice (640 mnm, 1.800 m) a JZ u Sedlové chaty (950 mnm, 1.200 m).
Starý německý název hory zní Brandberg, což zhruba odpovídá češtině.