有正选出赛的机会。其后在入读东京大学的首2年也曾加入东大棒球部，主要担任球队的捕手。在选定主修法学部后退出。
公务员.藤井自东大毕业后加入大藏省（现财务省。大臣官房文书课分配），成为公务员。同期加入的还有平泽贞昭、水野胜（曾任国税厅长官、日本烟草产业社长）、佐藤光夫等人。藤井在田中角荣内阁时代曾担任二阶堂进、竹下登两任内阁官房长官的秘书。其后调回大藏省，1976年辞任大藏省主计局主计官，离开政府。
参政.离开政府后，藤井进入政坛。1977年，藤井代表自由民