Simon ble født i Antananarivo på Madagaskar, som da var en fransk koloni, av franske foreldre. Hans far var en yrkesmilitær som døde under det første året av den første verdenskrig. Han vokste opp med sin mor og hennes familie i Perpignan ved foten av Pyreneene, midt i vindistriktet i Roussillon. Blant hans forfedre var en general i tiden til den franske revolusjon. Han bodde ofte i dette området, og var selv vindyrker i tiden etter krigen. Området danner bakgrunn for blant annet romanene (, 1957) og (, 1958).