伊豆急行線伊豆急下田駅から東へ約2km、須崎半島の根元、下田港に面した海岸線から少し入った高台にある。玉泉寺は、1854（嘉永7）年の日米和親条約付録13ヶ条により米国黒船乗員の休息所・埋葬所に指定され、同年、日露和親条約の交渉の場ともなった。
　1856（安政3）年には米国使節タウンゼント・ハリスが江戸幕府との折衝の末、通訳官ヒュースケンとともにアメリカ領事館として居を構えたところである。
　アメリカ領事館は1859（安政6）年まで同寺に置かれ、幕末外交史の舞台のひとつとなった。正面の建物が居間兼事務所として使用された本堂で、右手奥のハリス記念館*1には彼の遺品や当時の記録が陳列されている。また、境内には日本で初めて屠牛が行われたことを示す屠牛木供養塔と牛乳の碑が立ち、裏手の墓地には米露黒船乗員墓地*2もある。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　玉泉寺は、もとは真言宗の草庵であったものを、天正年間（1573～1592年）に曹洞宗へ改宗され、1848（嘉永元）年に現在地に移転し、今に続く本堂が落成した。領事館に使用された本堂は間口七間奥行六間寄棟造、内部はハリス居室、通弁（通訳）官ヒュースケン居室、事務室などの部屋割りがそのまま遺されている。また、「唐人お吉の悲話」*3もこの寺が舞台となっている。