男后来成为国际体操联合会的裁判，并在1992年被国际体操联合会选为男子技术委员会的副会长。加藤泽男于1999年5月被世界体育记者协会选为20世纪最伟大的25位运动员之一，也是唯一一位日本运动员。他在2001年进入国际体操名人堂的行列。2004年雅典奥运时，加藤泽男卷入一起争议事件，当时他对于美国体操选手布雷特·麦克卢尔（Brett McClure）单槓表演的流程与总裁判的意见相左。后来导致布雷特·麦克卢尔以不同的一套流程来比赛，使得他表现不佳，这可能造成美国最后只夺得银牌。目前加藤泽男在日本筑波