儿子、甲府宰相德川纲重从其兄长、第四代将军德川家纲处拜领了这片土地，在这里建立了别庄，名为，又称。在德川纲重的儿子德川家宣成为第六代将军时，将这片宅地再次作为将军家的别庄，改名为，并进行了大幅度的改修。此后，经过历代将军几次的建设和改修，在第十一代将军德川家齐时，这片宅地基本有了如今庭院的模样。幕府末期，庭园所在地成为幕府海军的基地，称为，幕府海军的也迁移至此处。同时，日本的第一座石造西洋建筑——名为的幕府海军教学基地——开始建设。1869年（明治2年），延辽馆建设完成，建筑面积约1,400平方米，成为