后龟井集团与另一派系旧渡边派合并为江藤-龟井派，龟井任该派的代理会长，后又出任自民党政调会长。2003年，江藤-龟井派会长江藤隆美引退，龟井继任会长，该派名称改为龟井派。2005年，龟井因为强烈反对日本邮政民营化而与小泉纯一郎闹翻，退出自民党，另立国民新党；龟井派在自民党内影响力迅速衰弱，反造就小泉纯一郎及之后安倍晋三领导的町村派成为自民党领导的最大派阀。2005年第44届日本众议院议员总选举，龟井以无党籍身分在广岛县第6区参选，击败自民党提名的堀江贵文。2009年民主党在第45届日本众议院议员