＊1　大鳥居：霊山寺の山門のかわりに、結界としての神門である弁財天社の朱塗りの大鳥居が建つ。「弁財天」信仰は、弘仁年間（810～824年）に弘法大師が同地で龍神の霊験を感得し、龍神を「弁財天」として奥之院へ勧請したという伝承に基づいており、1935（昭和10）年には現世利益の道場として弁天堂が新築された。
＊2　諸説：当寺の創建にまつわる伝承の諸説においては、小野鼻高仙人、聖武天皇、行基、インドから来日したバラモン僧菩提僊那が主な登場人物となっているものの、開創に果たした役割が異なることが多い。小野鼻高仙人（「鼻高」には鬼の意味もある）については右大臣小野富人（小野妹子の子とも伝わる）のことだとされ、富人は壬申の乱に関与したためこの地に閑居していた際、薬師如来を感得し小野鼻高仙人と称されるようになり、薬草風呂を施湯したと伝えられている。これはこの地を支配していた小野氏が霊山寺の創始に関わったことを示そうとした伝承ではないかとされている。また、行基については、この地に修験道場を設けていたとの説があり、これを同寺の始まりとし行基伝説に結びつけるものであろう。菩提僊那は行基とともに同寺の開創に中心的に関わったとし、このことから寺号をインドの「霊鷲山」と結びつける縁起伝承もある。なお、四国八十八ヵ所霊場の1番札所の徳島県の竺和山霊山寺や神奈川県の日向薬師（日向山霊山寺）など全国各地にある同じ寺号の霊山寺の開基・中興に関する縁起ついても、行基あるいは弘法大師が関わっていることが伝承されている。
＊3　薬師如来坐像：本堂の本尊。榧木の一木造り。貞観時代から藤原時代への過渡期の技法を示している木彫像。脇侍の日光、月光菩薩立像を合わせた三尊像は、黒漆の厨子に収められているが、1285（弘安8）年造立の銘が入っている。開扉は例年10月下旬から11月上旬。
＊4　本堂：正面5間、側面6間、単層、入母屋造、本瓦葺。弘安6（1283）年11月4日の墨書があり、礼拝のため外陣を堂内に設けるようになった初期の建築。外陣は室内に柱がなく天井は折上小組格天井。蟇股内に薬壷を刻んだ細工が見られる。
＊5　三重塔：四方3間、桧皮葺、総高17ｍの小塔。1283～1284（弘安6～7）年の建立と推定されている。
＊6　バラ庭園：1957（昭和32）年に開園。200坪の庭園。200種類2,000株のバラが植えられており、開花期は5月上旬～6月中旬と10月中旬～11月上旬。
＊7　十六所神社：かつての霊山寺の鎮守社。 社殿は5棟が並び、現在は覆屋の中にある。正面左から春日社、住吉社、本社、龍王社、大神宮となっている。 中央の3社は1384（至徳元）年の建立という棟木墨書がある。本社の蟇股、木鼻などに装飾彫刻が施されている。国指定の重要文化財。