華厳寺の西方、西台山麓にある。最澄は、1本の霊木から2体の薬師如来を自ら刻み、1体を比叡山延暦寺（滋賀県大津市坂本）に祀り、もう1体の安置場所を求めて諸国を巡った。平安時代801（延暦20）年にその薬師如来＊を本尊として横蔵寺を創建したと伝えられる。鎌倉時代には38坊、300余の末寺となり栄えた。室町時代には兵火や災害によって衰えたが、江戸時代1610（慶長15）年頃から復興され、本堂は1670（寛文10）年に再建された。
　なお、織田信長の比叡山焼き討ちによって比叡山延暦寺の本尊が焼失したため、1585（天正13）年、比叡山が再興されると後陽成天皇の勅願により、横蔵寺の本尊が延暦寺に移されたとも伝えられている。横蔵寺の現本尊（薬師如来像）は洛北の御菩薩池（みぞろがいけ、現・京都市北区の深泥池）から移されたものであるという。
　谷川を前に城壁のように石垣がめぐらされ、本堂・三重塔・舎利堂・瑠璃殿・仁王門・書院などが立つ。舎利堂には、1817（文化14）年に入定した妙心法師の即身仏が舎利仏として安置されている。瑠璃殿では、薬師如来坐像（秘仏）、四天王立像、十二神将立像、大日如来坐像、金剛力士立像、深沙大将立像などの国指定重要文化財が公開されている。