後藤斎
同年、鳩山由紀夫内閣で文部科学大臣政務官(科学技術、の担当)に任命され、菅直人内閣まで務める。2011年9月、野田内閣で内閣府副大臣(食品安全、地域主権、地域活性化、公務員制度改革の担当)に任命され、11月から拉致問題担当の副大臣も兼務する。内閣府副大臣は野田第2次改造内閣まで務めた。
2012年の第46回衆議院議員総選挙では、山梨3区で4選。選挙後、民主党国会対策委員長代理に就任。2013年9月、松原仁国会対策委員長代行の国対委員長昇格に伴い、後任の国対委員長代行に就任した。
2014年11月4日、翌年の山梨県知事選挙に無所属で出馬する意向を表明し、民主党に離党届を提出。11月7日、衆議院事務局に議員辞職願を提出し、11月11日の衆議院本会議で辞職が許可された。後藤の辞職により、山梨3区は廃止が予定されている選挙区ながら補欠選挙が行われる見通しだったが、直後に衆議院が解散されたため、補選は実施されなかった。
2015年1月25日投開票の山梨県知事選挙では、民主党に加え自民党、公明党の推薦も受けて初当選した。2月17日に山梨県庁に初登庁。
2018年10月、翌年1月に行われる山梨県知事選挙への出馬を表明。2019年1月27日の投開票の結果、自民党が推薦する元衆議院議員の長崎幸太郎に敗れ落選。
2022年3月、日本維新の会は後藤を第26回参議院議員通常選挙に比例区候補者として擁立することを発表した。7月10日、投票開票の結果、同党は8議席を得たが、11位で落選。