En 1962 Gambon se casó con Anne Miller, la cual pasó a ser Lady Gambon en 1998, y con quien tuvo un hijo llamado Fergus.