1977 gewann Rougé im Finale der Europameisterschaften im Schwergewicht gegen Dzhibilo Nizharadze aus der Sowjetunion. Im Jahr darauf erkämpfte er bei den Europameisterschaften 1978 zwei Medaillen. Im Schwergewicht unterlag er gegen den Niederländer Peter Adelaar und erhielt Bronze, in der offenen Klasse gewann Rougé Silber hinter Dietmar Lorenz. 1979 siegte Rougé nach 1974 und 1977 zum dritten Mal beim "Tournoi de Paris". Bei den Europameisterschaften in Brüssel gewann er das Finale im Schwergewicht gegen Witali Kusnezow aus der Sowjetunion. Im Dezember 1979 bei den Weltmeisterschaften in Paris gewann Rougé wieder zwei Medaillen. Im Schwergewicht unterlag er im Finale dem Japaner Yasuhiro Yamashita, in der offenen Klasse verlor er im Halbfinale gegen den Japaner Sumio Endō, im Kampf um Bronze bezwang er den Polen Dariusz Nowakowski. 1980 kehrte Rougé ins Halbschwergewicht zurück und gewann bei den Europameisterschaften das Finale gegen Dietmar Lorenz. Bei den Olympischen Spielen 1980 in Moskau unterlag er im Viertelfinale dem Belgier Robert Van de Walle und belegte am Ende den siebten Platz.