加藤纮一试图发动「加藤之乱」打倒森喜朗内阁，但最终计划流产，加藤领导的宏池会分裂，远藤追随加藤。之后远藤成为谷垣祯一的近侧，2006年自民党总裁选举远藤担任谷垣的选举对策委员长，为谷垣拉到高于预期的票数。同年就任第一次安倍内阁的文部科学副大臣。2009年大选自民党惨败下野后，谷垣担任自民党总裁，远藤先后在谷垣体制下担任干事长代理和自民党国际局长。2012年自民党总裁选举，一度重新合併的宏池会再度分裂，远藤追随谷垣加入有邻会。