滄浪閣
1907年(明治40年)頃の大磯には、150戸以上の別荘が存在したといわれる。
大磯在住時の伊藤は素朴を好み、散歩の際は鳥打帽に着物の簡単な服装で出かけた。ふらりと農家に立ち寄っては、米麦の値段や野菜の出来具合を聞いたり、夜の海岸へ出かけて地引網の見物をし、イカ釣り船の漁夫に話しかけたりしたという。地元の祭りの時には、四斗樽の鏡を抜いて酒を振舞い、地域との融和を心がけていたという。
伊藤の死後は梅子夫人が居住したが、1921年(大正10年)に養子の伊藤博邦により朝鮮の李王家に譲渡されて別邸となった。1923年(大正12年)の関東大震災では建物が倒壊するが、焼失は免れ、直ちに再建された。第二次世界大戦終戦直後は一時、米軍に接収され、1946年(昭和21年)2月、李垠から政治家・楢橋渡へ、さらに1951年(昭和26年)5月には西武鉄道に売却された。1954年(昭和29年)12月に宿泊施設として開業し、大磯プリンスホテルの別館となる。1960年(昭和35年)4月、五賢堂が元首相・吉田茂邸内へ遷座された(吉田茂は五賢堂に西園寺公望を合祀した。吉田の死後、吉田茂も加えられて七賢堂と改められた)。