团体赛分别完成2连霸及4连霸。加藤泽男在1974年一次练习中，因为从单槓上摔下而导致肩膀脱臼，不过被医生治疗之前，他回转了手臂几圈，并在几分钟后再度跳上单槓，试图完成练习。他试图在1976年的蒙特娄奥运再度夺得个人全能金牌，不过最后以1分之差败给苏联的尼库莱·安德里亚诺夫，只获得银牌，而安德里亚诺夫则在这届奥运总共夺得4面金牌。尽管如此，加藤泽男仍然连续3届奥运在个人全能夺得奖牌。虽然日本与苏联之间的竞争相当激烈，不过最后他还是帮助日本完成在男子体操团体赛的5连霸，并在双槓再度夺得金牌。在蒙特娄奥运