2002年又由于政治丑闻而暂时离开政坛。2003年虽然重新当选议员，但势力已经微乎其微。其与小泉纯一郎、山崎拓组成YKK同盟，成为小泉纯一郎任首相时的主要支持力量，但是反对小泉纯一郎首相参拜靖国神社。2006年8月15日，加藤纮一位于山形县的老家遭到日本右翼团体「大日本同胞社」干部堀米正广纵火。在麻生太郎任首相期间，加藤纮一和中川秀直、武部勤合作，成为自民党内反麻生活动的主要领导人之一。2012年大选角逐连任众议员，但自民党山形县连因他年事已高等理由反对，县连大部分人拥立无党派候选人阿部寿一（前酒田市市