Milne trente mye sammen med det franske landslaget. Mellom 1970 og 1972 plasserte han seg fem ganger blant de 10 beste i utforrenn, og ble regnet blant favorittene til utforrennet i OL 1972 i Sapporo. Like før lekene begynte, pådro han seg seg en skade i venstre kne, men valgte likevel å starte, uten suksess. Etter OL begynte han å kjøre profesjonelt i USA.