Nació en South Kensington, Londres, tercero de los cuatro hijos y el menor de los tres varones de Frank Henry Gielgud (1860-1949) y su segunda esposa, Kate Terry-Gielgud, nacida Terry-Lewis (1868-1958). Los dos mayores eran Lewis, que llegó a ser en un alto funcionario de la Cruz Roja y la Unesco, y Val, que posteriormente fue un pionero del drama radiofónico de la BBC; su hermana Eleanor fue la secretaria de John durante muchos años. Por parte de su padre, Gielgud era de ascendencia lituana y polaca; su apellido deriva de Gelgaudiškis, una aldea en Lituania. Los condes Gielgud poseían el castillo de Gielgudziszki, en el río Niemen, pero sus propiedades fueron confiscadas tras su participación en un levantamiento fallido contra el gobierno ruso en 1830 o 1831. Jan Gielgud se refugió en Inglaterra con su familia; uno de sus nietos era Frank Gielgud, cuya abuela materna era una famosa actriz polaca, Aniela Aszpergerowa.