JR高山駅の北東300mに位置する。飛騨国の国府が高山に移った奈良時代（710～794年）に、聖武天皇の勅願により全国に建立された国分寺のひとつで、746(天平18)年に創建された古刹である。本堂に、本尊の薬師如来坐像、旧国分尼寺の本尊であった聖観世音菩薩像＊を安置する。
　室町時代（1333～1573年）中期に再建された本堂は、正面5間、側面4間、単層入母屋造の建築様式だが、正面向拝と東側は安土桃山時代（1573～1603年）に修理されている。非公開ではあるが、平家一門の家宝である小烏丸と伝えられる無銘の太刀が伝承されている。
　本堂東側には、奈良時代創建当時のものと推定され「飛騨国分寺塔跡」と呼ばれる「塔心礎石」＊が玉垣に囲われて据えてある。そのほか境内には、1821(文政4)年の再建で飛騨地方唯一といわれる三重塔、幹周囲10ｍ樹高28m樹齢1200年を超える大イチョウ、旧高山城から移築された鐘楼門などがある。