Como millones de ciudadanos soviéticos, la familia Gagarin sufrió la ocupación nazi de la Unión Soviética durante la Segunda Guerra Mundial, pues Klúshino fue ocupada en noviembre de 1941 durante el avance alemán hacia Moscú y un oficial germano se instaló en la residencia Gagarin. La familia recibió permiso para construir una cabaña de barro de 9 m2 de superficie en el terreno trasero de la casa y allí tuvieron que vivir durante veintidós meses hasta el final de la ocupación. Los dos hermanos mayores fueron deportados por los alemanes en 1943 a Polonia como mano de obra esclava y no pudieron regresar hasta el final de la guerra en 1945. Un año después toda la familia se mudó a Gzhatsk, donde Yuri continuó su educación secundaria.