愛宕山は東御荷鉾山から派生する尾根の延長の平らな頂を持った岩山であり、春にはアカヤシオが咲き乱れ、柏木の集落からかすかに遠望でき、秋には紅葉が美しい。柏木集落から見た愛らしい独特のシルエットは「便所山」とか「お便器山」と言う愛称で昔から子供たちに親しまれてきていた。見る方向によって姿を大きく変える山であるが、周囲は険悪な岩場に囲まれ登山者を阻んでおり、過去に２名の墜死者を出している気の抜けない山である。出版物にこの山が紹介されたことにより山頂を目指す登山者が増えてきているが、途中の岩に阻まれて引き返してしまうことも多い。頂上はかなり広い尾根となっており、西側は険悪な崖である。また以前は焼き物で作られた「土祠」があったが、現在は破片のみが残っている。頂上からは展望は乏しいが最近間伐がなされ、冬枯れの景色が美しい。愛宕山周囲には40以上の数多くの不動が祀られているとのことである。
御荷鉾スーパー林道と愛宕山林道の分岐付近に駐車、南進して最初のピークを越える。北面の急斜面に取り付き、大きい岩に達するとその岩の割れ目を強引に登るか左手側の崖の細いテラスを辿る。テラスにはトラロープがかけられ、西御荷鉾山の展望のよい岩場に達する。周囲はアカヤシオとヒカゲツツジが咲き乱れる。木々に捕まりもうひと登りすれば山頂である。
平成25年２月にハンターが滑落、骨折の重傷を負った。