Su padre, Edward Gambon, un ingeniero, decidió buscar trabajo en la reconstrucción de Londres, y así Gambon y su madre, Mary Gambon (Hoare de soltera), una costurera, se trasladaron a Mornington Crescent, al norte de Londres, cuando Gambon tenía cinco años.