Saitō besuchte die Kokushikan-Universität von 1979 bis 1983. In dieser Zeit trat er mehrfach gegen den vierfachen Weltmeister Yasuhiro Yamashita an und verlor in allen wichtigen Kämpfen. Bei den Judo-Weltmeisterschaften 1983 in Moskau siegte Yamashita im Schwergewicht und Saitō trat in der Offenen Klasse an. Im Finale besiegte er Vladimir Kocman aus der Tschechoslowakei und reihte sich damit in die Liste der japanischen Weltmeister in der Offenen Klasse ein, die von 1965 bis 1991 ohne Unterbrechung den Titel gewannen. Bei den Olympischen Spielen 1984 in Los Angeles trat Yamashita in der offenen Klasse an und siegte dort auch. Hitoshi Saito startete im Schwergewicht ab 95 Kilogramm, sein Gewicht wird mit 143 Kilogramm angegeben. Im Olympiafinale stand er dem französischen Titelverteidiger Angelo Parisi gegenüber und gewann nach zwanzig Jahren wieder Olympiagold für Japan in der Schwergewichtsklasse.