Rossi studerte ved Sorbonne-universitetet. Han debuterte i 1950 med romanen , skrevet før han fylte 18 år. Boken ble også utgitt i USA. I de følgende årene bygget han en karriere som oversetter, blant annet av J.D. Salinger, og som ansatt i to store parisiske reklamebyråer. I denne perioden ble han også kjent med filmprodusenten Pierre Braunberger, som han skrev og produserte to kortfilmer for.