Największe sukcesy w karierze Carlo Rancati osiągnął w 1964 roku, kiedy zdobył dwa srebrne medale na międzynarodowych imprezach. Najpierw wspólnie z Attilio Benfatto, Cencio Mantovanim i Franco Testą zajął drugie miejsce podczas mistrzostw świata w Paryżu, a parę miesięcy później wraz z Mantovanim, Testą oraz Luigim Roncaglią powtórzył ten wynik na igrzyskach olimpijskich w Tokio.