冷泉家は慶長11年(1606年)にはこの地に屋敷を構えていたことが知られる。