仁王門の右手、墓所付近からは、眼下に太平洋が広がり、東に室戸岬、手前に室戸の町が見える。土地の営みとのつながりを感じられる光景であると思う。弘法大師がこの地を選んで建立した。七堂伽藍を配する寺格の高い寺とされ、現在の室戸市全域にわたる寺領を持っていた。鎌倉時代には体制から逃れた人々を受け入れ「西寺乞食（にしでらこつじ）」と呼ばれた。戦国時代に衰退するが、近世には土佐藩主の庇護を受けた。大師堂は、本堂に背を向け足摺岬の方角に向いて建っている。これは「天狗問答（てんぐもんどう）」という弘法大師が魔物や天狗を追いやった伝説にならったもので、魔物や天狗を押さえ込むためである。
　本堂の北面、スダジイの古木の根に寄生する奴さんのような姿の西寺のヤッコソウは天然記念物。秋から冬に咲く。植物学者牧野富太郎が新種ヤッコソウとしたもの。
　室戸は江戸時代から「土佐古式捕鯨発祥の地＊」として栄えたこともあり、境内に鯨の供養を目的とした2基の供養塔と一つの釣鐘がある。かつては捕鯨具類などが展示されていた鯨昌館（げいしょうかん）＊もあった。これらもまた室戸らしい。