Rubirosa werd geboren als derde en jongste kind van een gezin uit de hogere middenklasse. In 1915 werd zijn vader ambassadeur van de Dominicaanse Republiek in Parijs, waar hij verder opgroeide. Op 17-jarige leeftijd keerde hij terug naar zijn vaderland om rechten te studeren, maar schreef zich al snel in bij het leger. In 1931 leerde hij dictator Rafael Trujillo kennen en in 1936 werd hij diplomaat namens zijn land. Tijdens Olympische Spelen van 1936 werd hij naar Berlijn gestuurd en later naar Parijs. Hij werkte ook voor de ambassades in Vichy, Buenos Aires, Rome, Havana (waar de Cubaanse Revolutie begon) en Brussel. Hij bezocht ook vaak New York, Washington, Florida en Californië. Na de Tweede Wereldoorlog speelde hij veel polo en richtte zelfs een eigen team op. Ook was hij erg geïnteresseerd in raceauto's.