坂出市の東、高松市に連なる五色台は瀬戸内海国立公園の中に位置し、その名の通り五峯（黄峯・白峯・赤峯・青峯・黒峯）からなり、北は瀬戸内海、南は讃岐平野を望む山々である。白峯寺は西よりの白峯（標高377m）の中腹にある四国霊場八十八ヶ所霊場の第81番札所で、崇徳上皇ゆかりの寺院でもある。
　815（弘仁6）年、弘法大師が修行のためにこの白峯に登り、宝珠を埋め井戸を掘った。後に弘法大師の甥（もしくは姪の息子）にあたるとされる智証大師がこの山の白峯大権現の化身である老翁のご神託を受け、瀬戸の海上に輝き瑞光を放っていた流木を引き上げて千手観音像を刻んで本尊とし、伽藍を整備したといわれる。その後、1164（長寛2）年、保元の乱によって讃岐に配流されていた崇徳上皇が没したことにより、陵墓を営み、菩提を弔うための頓證寺が境内の一角に建立され、今尚上皇の御霊を供養し続けている。
　瀬戸内海の雄大な景色が望める参道を進むと右手に時を経た源頼朝の寄進とされる2基の十三重石塔（国重文）があり、珍しい形の七棟門（ななむねもん）＊をくぐると護摩堂の前で参道は左に折れ、まっすぐ進むと勅額門、その奥には頓証寺殿（とんしょうじでん）がある。この手前に上皇の悲しい物語を秘めた玉章木（たまずさのき）＊がある。またさらに奥には崇徳天皇の御陵があり左右には源為朝・為義の供養塔が立つ。勅額門の右の石段を上がると本堂、大師堂、阿弥陀堂などが立っている。現存する堂宇は藩侯生駒家、松平家の再建によるものであり、本堂は1599（慶長4）年、大師堂は1881（文化8）年の再建である。
　また、境内の主要なお堂のすべてが国指定の重要文化財であり、それらのお堂には全ての方々の十二支守り本尊が祀られている他、数々の指定文化財を有している。