Samuel vokste opp i London og studerte ved Balliol College i Oxford. Han fikk en jødisk religiøs oppdragelse, men i studietiden utviklet han en ateistisk overbevisning, selv om han forble et medlem av det jødiske trossamfunnet. Han begynte å engasjere seg for liberal politikk i attenårsalderen.