고노에 후미마로
1941년에 고노에 후미마로(近衛文麿) 내각이 성립되자 도요다는 군을 떠나 상공대신에 임명되었다. 그러나 해군은 그의 사퇴신청을 받아들이지 않고 해군대장으로 승진시켜 예비역이 되었다. 해군의 고가 미네이치(古賀峯一) 대장은 그런 도요다를 "해군의 경력을 정치적 출세의 발판으로 이용했다"고 비난하였다.