90年获自民党提名参加当年大选落选。1993年以无党派的身份（但接受日本新党推荐）参选大选，首次当选；当选后重返自民党，并成为同是山形县出身的自民党中坚议员加藤纮一的近侧。2000年加藤纮一试图发动「加藤之乱」打倒森喜朗内阁，但最终计划流产，加藤领导的宏池会分裂，远藤追随加藤。之后远藤成为谷垣祯一的近侧，2006年自民党总裁选举远藤担任谷垣的选举对策委员长，为谷垣拉到高于预期的票数。同年就任第一次安倍内阁的文部科学副大臣。2009年大选自民党惨败下野后，谷垣担任自民党总裁，远藤先后在谷垣体制下担任干事长