初当選後、宏池会に入会する。2003年の第43回衆議院議員総選挙でも、大阪2区で再選。2005年の郵政国会では、大阪府選出の自民党所属議員で唯一、郵政民営化に反対。郵政民営化関連6法案の衆議院本会議における採決では党の賛成方針に造反し、反対票を投じた。その後、郵政民営化法案は参議院で否決され、小泉純一郎首相は衆議院を解散する。解散後、左藤は自民党本部に対し、弁明書を提出した上で、選挙後の国会に郵政民営化関連6法案が再提出されれば賛成する姿勢を示し、自民党大阪府連もこれを受けて左藤の公認を自民党本部に対して申請したが、結局公認を得られず、自民党は大阪2区に川条志嘉を擁立。第44回衆議院議員総選挙には無所属で大阪2区から出馬したが、川条に2,530票差で敗れ、落選した。落選後は、朝夕、選挙区の駅前で街頭演説を行い、第45回衆議院議員総選挙への出馬に向けた準備を進めていたが、前回の総選挙によって生じた大阪2区の保守分裂状態は解消されず、2009年の第45回衆議院議員総選挙においても無所属の左藤、自民党の川条が大阪2区から出馬。左藤は前回に比べ約1,400票を上積みしたが、川条は大幅に得票数を下げ、いずれも民主党新人の萩原仁に敗北した。その後2010年12月に自民党党紀委員会で左藤の復党が了承され、復党。2012年の第46回衆議院議員総選挙では、自民党の公認を受けて大阪2区から出馬し、日本維新の会新人の林原由佳、民主党から日本未来の党へ鞍替えした前職の萩原、無所属で出馬した元職の川条らを破り、7年ぶりに国政に復帰した。選挙後に発足した第2次安倍内閣において、防衛大臣政務官に任命され、2013年9月まで務める。同年10月より自民党国防部会長。2014年9月4日、第2次安倍改造内閣で防衛副大臣に任命され、同月26日には内閣府副大臣に任命された。2017年12月、自由民主党大阪府支部連合会会長に就任。2018年10月4日、第4次安倍改造内閣で内閣府副大臣に任命された。2019年5月に、前月の第19回統一地方選挙の一環として行われた大阪府知事・市長選挙や衆議院大阪府第12区補欠選挙などの一連の選挙での敗北を受け、府連会長を辞任した。
文政10年（1827年）に入門し、三河国からの平田篤胤への最初の入門者となった吉田在羽田村羽田八幡宮・田町神明社両社の神主羽田野敬雄（1798-1882）は、44名もの三河の人びとを平田門に紹介、さらに遠江国西部からも多数紹介するなど、この地域における平田門の中心人物として大きな役割を担った。羽田野は、同じ気吹舎門人であった下総国の農政家宮負定雄（1797-1858）が著した『草木撰種録』（1828年刊行）の印刷に協力する一方、それを地域の人びとに回覧していた。それ以外にも羽田野は、村落知識人として農書を含む多数の書物を収集したり、書写したりして、多数の書籍を所有していた。当時の三河では、岡崎菅生村の鶴田卓池が門人200名を超す俳人として著名であったが、その高弟に吉田西町の商人福谷世黄（よつぎ）、俳号水竹がいた。嘉永元年（1848年）3月、福谷の別荘に俳句仲間が集まったとき、福谷が蔵書が3,000巻になったので文庫をつくりたいと話したのに対し、羽田野が伊勢神宮の神宮文庫（豊宮崎文庫・林崎文庫）にならって神社に置いたら長続きするのではないかとして、三河一宮の砥鹿神社（愛知県豊川市）を推したが、福谷は読書家の羽田野が神職を務める羽田八幡宮の方がよいと応答して一座の了承を得た。さっそく十数人が発起人となって造立講がつくられ、5月24日に初会が開かれて1口3両で募金が始まった。約2か月で187両集まったが、出金者で名前の知られる人が69名、不明なもの11口で、69名の内訳は吉田宿50名、周辺8か村16名、域内神社神主1名、遠州新居宿本陣の主人（羽田野の甥）、名古屋の本屋皓月堂文助となっている。最高額は高須の植田耕三郎（菅江真澄の師で後援者だった植田義方の子孫）による16両であった。困窮にて書籍相求候事相成難候者にも広く披見為仕候て、自然と勧善懲悪之筋をも相弁て、善道に相進候様 — 文庫設立の目的、羽田野敬雄文庫造立の願いが三河吉田藩の寺社係に出されたのは嘉永元年6月8日、翌6月9日には認可された。その後、文庫の建造についても寄合がもたれ、9月2日には柱立が行われて工事が始まった。落成したのは、翌年（嘉永2年（1849年））の4月23日のことである。書庫は6坪（桁行3間×梁行2間）の切妻造、桟瓦葺、平入の標準的な造りの平屋建で、書庫の周囲には水路が巡らしてあり、とくに防火対策に配慮したものであった。また、防湿・防虫等も考慮して、南側に小さな窓を設けただけの閉鎖的な構えとなっている。なお、文庫建物は現存し、国の登録有形文化財となっており、防火用水路は当初の位置とは少し異なっているが一部は現在も残っている。落成間もない5月8日、文庫完成の祝いを兼ねて「御文庫造立竟宴歌会」が催され、38名が参加した。そのうち17名が吉田藩の関係者、神職が4名、町人10名などとなっているが、当日来ていた短冊類は80枚であった。和歌に関心をもつ人びとが集ったこの会合は、吉田藩士を中心とするものであり、藩士に出金者はいなかったものの、彼らの支えは無視できないものであった。当時の吉田の歌壇のリーダーは藩士未亡人の岩上登羽子（いわがみ とはこ）であったが、歌会出席者のうち岩上を含む数名が本居大平の門人で、大平門から平田派に入った羽田野とはかつて同門の間柄だったのである。文庫設立を記念して著名人に額や書物の寄進などを願うことは現代でもしばしばみられる。羽田八幡宮文庫には、三条実万（三条実美の父）からの「積中外諸典（中外に諸典を積む）」の額があり、これは羽田野の甥が新居本陣の主人だったことから、実万が江戸に下向して新居宿に逗留した際に得たものであるが、『類聚国史』や『孝経』などとあわせて寄進されたものである。なお、「菅公から六世之御末孫にて当時禁中御学校学習院之御学頭」の流れにして「東ノ坊城従二位中納言藤原聡長卿当戌 五十三歳」からも同文言の額が贈られている。こちらは、羽田野の女婿である吉田本町の商人、鈴木孝本の生母が京都地下衆大江匡雄の妹だったという機縁からもたらされたものである。