1884（明治17）年に、吉田茂＊の養父吉田健三がこの地に土地を購入し、別荘を建てた。その後増改築を重ね、吉田茂は1945（昭和20）年頃から生涯を閉じる1967（昭和42）年までここで過ごした。政界引退後も多くの政治家が吉田のもとを訪れ、「大磯詣で」と呼ばれ、近代政治の舞台となった。
　数寄屋造りの本邸は、大部分が建築家吉田五十八の設計のもと、京都の宮大工により建築された。オリジナルは2009（平成21）年に焼失しており、現在の建物は復元され、2017（平成29）年に一般公開したもの。兜門、七賢堂等の歴史的資源や日本庭園は焼失を免れ、当時のまま現在に伝わっている。約3,000m²ある庭園は世界的な作庭家である中島健と久垣秀治によるもの。