大藏省
藤井自東大畢業後加入大藏省（現財務省。大臣官房文書課分配），成為公務員。同期加入的還有平澤貞昭、水野勝（曾任國稅廳長官、日本煙草產業社長）、佐藤光夫等人。藤井在田中角榮內閣時代曾擔任二階堂進、竹下登兩任內閣官房長官的秘書。其後調回大藏省，1976年辭任大藏省主計局主計官，離開政府。