初代當主智仁原先係豐臣秀吉個契仔，後嚟豐臣秀吉生咗個仔鶴松，所以就同智仁解除咗契爺契仔關係，之後智仁另起宮家，宮號係「八條宮」，而宮邸（即佢住嘅地方）就係桂離宮。