初代・徳川頼宣と正室・瑤林院（加藤清正の娘）、14代・徳川茂承と正室・倫宮則子女王（伏見宮邦家親王の娘）が邸宅に定めた。
纪州德川家初代藩主徳川赖宣与正室瑶林院（加藤清正的女儿）、纪州德川家第14代藩主徳川茂承与正室伦宫则子女王（伏见宫邦家亲王的女儿）将都定居在邸宅中。