2年1月14日，就任犬养内阁外务大臣。 同年:6月 - 任贵族院勅任议员，加入立宪政友会。 1939年，立宪政友会分裂为革新同盟派与正统派，芳泽担任正统派的总裁代行委员。1940年11月26日， 派任荷属东印度经济谈判特命全权大使。1941年， 派任法属印度支那特命全权大使。1945年8月7日，任枢密院大臣。1946年年1月4日，驻日盟军总司令解除芳泽枢密院大臣一职。1951年8月，公职禁令解除。 1952年8月25日，派任日本国驻中华民国的特命全权大使，此时的驻地在台湾。是唯一两度出任驻中华民国大使者。