1933（昭和8）年に建てられた旧朝香宮（あさかのみや）邸を美術館とした施設で、JR山手線の目黒駅から徒歩7分、国立科学博物館附属自然教育園の南に隣接している。約3,500ｍ²の敷地には西洋庭園、日本庭園、芝庭があり、建物自体がアール・デコ様式の作品と言える旧朝香宮邸（本館）2,100ｍ²と、美術展示やイベントのための新館2,141ｍ²（カフェを含む）がある。
　朝香宮鳩彦王はフランス留学中の1925（大正14）年にパリ万国博覧会を視察した際、博覧会で提唱されていたアール・デコ様式＊におおいに魅せられた。そこで、白金台の御料地に新邸宅を建設する際に、アール・デコ様式を積極的に取り入れたのである。建物は宮内省の設計組織であった内匠寮（たくみりょう）の北村耕造、権藤要吉らが設計し、主要な部屋内装装飾をパリの博覧会で活躍した装飾美術家アンリ・ラパン＊やルネ・ラリック＊が行っている。日本のアール・デコ様式の邸宅建築として見学できるもので、2015（平成27）年に国の重要文化財に指定されている。
　建物は戦後、吉田茂首相の公邸として使用された後に、1950（昭和25）年に西武鉄道に譲渡されて、1955（昭和30）年からは白金迎賓館として使用された。1962（昭和37）年には迎賓館新館が付加されている。1981（昭和56）年に東京都に譲渡され、1983（昭和58）年に庭園美術館として公開が始まった。2014（平成26）年には美術展示のために新館がリニューアルされた。
　洋式庭園には3点の野外彫刻、日本庭園には築山と池・茶室がある。日本庭園は朝香宮邸時代のものであり、1936（昭和11）に完成した中川砂村設計の茶室「光華」は重要文化財に指定されている。