頂上には茶臼山城跡、登山口付近には坂越浦城跡がある。
二つ合わせて西播磨山城11の一つ。
https://www.nishiharima.jp/yamajiro/sakosi_cyausuyama_page
坂越浦城は標高20メートル、茶臼山城は標高160メートル程度で、山城登山というよりは軽いハイキング感覚で登れます。坂越浦城は大避（おおさけ）神社の西側にあり、現在は展望広場となっています。
　その北側に茶臼山登山口があり、一部未舗装で狭いところもありますが、車で上がることもできます。茶臼山の頂上は東西27メートル、南北13メートルの平たんな土地が広がっており、いずれも坂越湾を臨む絶景を楽しめます。