当时，在台日本人对他果敢亲近台湾人的政策不赞同，莫不批评「伊泽总督是台湾人」；反之，伊泽时常谩骂日本人的优越感，为要促成启发台湾人之好的一面而付出努力，故他在台湾识者阶层的声望几乎是历任总督之冠，从事言论机关的知识阶层在他离台后仍有追慕之风，林呈禄等每赴东京必先访问伊泽以表敬意，对台湾民众依然拥有势力和信望的他也会对历任总督的施策加以批判。任内在回东京养病时，被推举为东京市市长，1926年7月1日去总督乙职，从此长居日本而未再回台湾。与滨口雄幸有深交，被视为立宪民政党系的影武者，善权谋，俨然有势于进步官