Urodził się w rodzinie żydowskiej w Polsce, w roku 1929, wraz z rodzicami, zamieszkał na stałe w Paryżu. Miał dwóch młodszych braci, Henry’ego i Maxa. Jego rodzice i bracia zostali aresztowani w czasie słynnej obławy Vel d’Hiv, a następnie wywiezieni do Auschwitz-Birkenau w lecie 1942. Najprawdopodobniej to wiadomość o ich losie (zostali zdradzeni przez sąsiadkę) skłoniła Goldberga do wstąpienia w szeregi imigranckich jednostek ruchu oporu tworzonych przez nielegalną PCF. Przybrał wówczas pseudonim Julien oraz zaczął posługiwać się papierami na nazwisko Gerarda Chartona.