层在他离台后仍有追慕之风，林呈禄等每赴东京必先访问伊泽以表敬意，对台湾民众依然拥有势力和信望的他也会对历任总督的施策加以批判。任内在回东京养病时，被推举为东京市市长，1926年7月1日去总督乙职，从此长居日本而未再回台湾。与滨口雄幸有深交，被视为立宪民政党系的影武者，善权谋，俨然有势于进步官僚之中。1934年冈田启介内阁成立时，尝与后藤文夫等人试图合组纯官僚之内阁。后任枢密顾问官。有《伊泽多喜男》传记；《伊泽多喜男关系文书》等文献传世。