2005年，龟井因为强烈反对日本邮政民营化而与小泉纯一郎闹翻，退出自民党，另立国民新党；龟井派在自民党内影响力迅速衰弱，反造就小泉纯一郎及之后安倍晋三领导的町村派成为自民党领导的最大派阀。2005年第44届日本众议院议员总选举，龟井以无党籍身分在广岛县第6区参选，击败自民党提名的堀江贵文。2009年民主党在第45届日本众议院议员总选举首次赢得大选后，2009年9月16日，民主党领导国民新党及社民党与民主派组成联合政府，龟井获新任首相鸠山由纪夫指定出任内阁府特命担当大臣（金融）和邮政改革担当大臣。