Rodinson var sønn av polsk-russiske innvandrere og vokste opp under tunge kår. Han måtte ut i arbeidslivet i en alder av 13 år, og ble dermed tvunget til å studere på egen hånd. I 1932 ble han tatt opp ved École des Langues Orientales i Paris.