Fe'i ganwyd yn Chanteloup-en-Brie, Seine-et-Marne, Ffrainc, yr hynaf o bump o blant. Roedd ei dad yn berchennog cwmni edau Cartier-Bresson a theulu ei fam yn wneuthurwyr cotwm a pherchnogion tir yn Normandi. Fe'i magwyd mewn ardal bourgeois o Paris, roedd ei rieni'n gallu fforddio cymorth ariannol iddo ddatblygu ei ddiddordeb mewn ffotograffiaeth a oedd pryd hynny'n rhy ddrud i lawer o bobl gyffredin. Ym 1927 yn 20 oed fe aeth i ysgol gelf breifat ble roedd ei athro André Lhote yn Giwbydd ac dylanwadwyd arno gan gelfyddyd y mudiadau celf avant garde y cyfnod, yn arbennig Swrealaeth. O 1928 i 1929 fe fynychodd Brifysgol Caergrawnt ble astudiodd gelf a llenyddiaeth ac yno y daeth yn rhugl yn Saesneg. Ym 1930 bu raid iddo ddychwelyd i Ffrainc i wneud ei wasanaeth milwrol gorfodol.