成为谷垣祯一的近侧，2006年自民党总裁选举远藤担任谷垣的选举对策委员长，为谷垣拉到高于预期的票数。同年就任第一次安倍内阁的文部科学副大臣。2009年大选自民党惨败下野后，谷垣担任自民党总裁，远藤先后在谷垣体制下担任干事长代理和自民党国际局长。2012年自民党总裁选举，一度重新合併的宏池会再度分裂，远藤追随谷垣加入有邻会。