険しい山頂にある山城で、最も近いふいご峠駐車場からでも、本丸まで徒歩20分の山登りが必要。途中、山麓の御根小屋と天守の伝達手段として使われた中太鼓櫓の石垣が残っていて、付近からは市街地の眺望がよい。城郭の入口では、高さが10m以上もある天然の岩盤の上に築かれた、迫力満点の石垣群が出迎える。大手門跡から南西の桝形に出ると、高さ1.5mの本瓦葺・白漆喰仕上げの土塀（三の平櫓東土塀）が9.7mに渡って残っている。壁面には、弓を射るための四角い矢狭間（やざま）と、鉄砲を撃つ円形の筒狭間がある。本丸には、1997（平成9）年に平櫓や門、土塀などが復元されている。天守は、天然の巨石を台とした、入母屋造・本瓦葺、土蔵造りの2層2階の建物。高さ11mのこぢんまりした天守だが、多様な格子窓を設け外観に変化をつけている。1階には籠城に備えた囲炉裏と藩主一家の居室となる「装束の間」があり、2階には城の守護神を祀った御社壇がある。天守の北側には同じく巨石を台とした二重櫓が建つ。
　雲海に浮かぶ城の姿は、秋から春にかけて昼夜の寒暖差が大きく、無風などの気象条件が揃う早朝に、臥牛山東側の「雲海展望台」から見ることができる。展望台駐車場と本丸の間には、尾根伝いに中世の遺構をたどる遊歩道が整備されている。