高松市の東方、源平の古戦場、壇ノ浦を挟んで屋島と向かい合う五剣山（標高375m）の中腹にある、四国霊場第85番札所。五剣山にはもともと5つの峰があったが、江戸時代の1706年（宝永3）の大地震で東の峰が一部崩落した。
　寺伝によれば、空海がこの地で修行中、天から降ってきた五本の剣を五つの峰に埋め、大日如来の像を刻み鎮護としたことにちなみ五剣山と名付けた。この地が霊地であることを確信した空海は、寺堂を建て、8つの国が見渡せたことから八国寺（やくにじ）と名付けた。空海が唐に渡る前に、入唐求法（にっとうぐほう）の成否を占うために植えた8個の焼き栗が、帰国するとすべて立派な木に成長していたことから、八栗寺に改めたといわれる。
　1583年（天正11）に長曾我部元親の軍勢が、現在の仁王門を少し下がった所にあった八栗城を攻めた際、本堂をはじめ諸伽藍は焼失した。江戸時代に、初代高松藩主松平頼重が本堂を再建し、三代藩主松平頼豊が現在の場所に本堂と二天門を再建した。元禄時代（1688～1704年）に藩専属の祈祷所となり、高松藩の支援のもと伽藍の修復が進められた。
　山岳修行の場であった名残として天狗を祀る中将坊堂もある。中将坊は讃岐三大天狗＊の一人で、除災招福・健脚祈願などのご利益があるとされ、下駄が奉納されている。
　また、聖天（しょうてん）堂のあることでも知られる。1677年（延宝5）後水尾天皇皇后の東福門院（徳川秀忠とお江の娘）の念持仏＊の聖天を賜った木食以空上人が四国行脚のおり、霊山である五剣山がこの聖天を祀るのにふさわしい場所であると悟り、本堂横の岩窟に聖天を安置したといわれる。「八栗の聖天さん」と呼ばれ、商売繁盛と縁結びのご利益があり信仰を集めている。ご利益のシンボルの巾着と大根が境内に多数見られる。