JR米坂線越後下関駅の東、旧米沢街道沿いにある。渡邉家初代は村上藩士で郡奉行を務めたが、1667（寛文7）年に隠居して現在地に転居した。二代目は廻船業や酒造業で財を成し、新田開発をするなど大地主に発展していった。三代目は、1726（享保11）年以降、財政難に苦しんでいた米沢藩への融資を幕末まで続け、その額は10万両を超えた。その功により五代以降、同藩勘定奉行格の待遇を受け、七代は1798（寛政10）年、450石の知行が与えられた。ほかに、鶴岡、長岡、黒川などの諸藩への融資を行い、幕府へもたびたび献金していた。全盛期には、水田700町歩、山林1,000町歩を経営する大地主になった。戊辰戦争の折にも、米沢藩に多額の軍費を献金した。
　渡邉家の大邸宅は約1万m²の敷地に堀と塀がめぐらされ、1,600 m²の母屋は切妻造、豪壮重厚な建物は 1817（文化14）年に再建された。 米蔵・ 味噌蔵 ・ 金蔵 など6棟の蔵が立ち並ぶが、往時には12の蔵があった。母屋の屋根＊は約20万枚の木羽が敷きつめられ、1万5,000個の石が整然と置かれた「石置木羽葺き屋根」が特徴である。建物は厳選された欅（けやき）で組まれ、広く長い土間に沿って茶の間、中茶の間、台所がつづく。座敷から見る庭園は、江戸中期、京都から招いた遠州流庭師による心字池を中心にした池泉回遊式で、石材の多くは紀州・小豆島・京都鞍馬石などが使用されている。