Gilbert nacque a Londra, primo figlio di Peter Gilbert, un gioielliere di Londra, e della moglie Miriam; il nome originale della famiglia era Goldberg. I suoi quattro nonni erano tutti nati nella Zona di residenza dell'Impero Russo. Nove mesi dopo lo scoppio della Seconda Guerra Mondiale, fu evacuato in Canada, dove passò parte dell'infanzia, come molti ragazzini britannici: erano stati mandati nel Nord America per salvaguardare le vite dei civili dalle incursioni aeree tedesche sulle Isole Britanniche. La sua curiosità sugli eventi bellici nacque proprio dai vividi ricordi del viaggio transatlantico da Liverpool al Quebec.