Come milioni di cittadini dell'Unione Sovietica, la famiglia Gagarin patì l'invasione nazista durante la seconda guerra mondiale: Klušino venne occupata nel novembre 1941 durante l'avanzata su Mosca e un ufficiale tedesco occupò la residenza dei Gagarin. Sul terreno dietro la loro casa, alla famiglia venne permesso di costruire una capanna di fango di circa 3 metri per 3, dove trascorsero ventuno mesi, fino alla fine della guerra. I suoi due fratelli più grandi furono deportati in Polonia dagli occupanti, nel 1943, per essere impiegati in lavori forzati e non tornarono a casa fino a quando il conflitto non finì due anni più tardi. Nel 1946 la famiglia si trasferì a Gzhatsk, dove Gagarin poté riprendere gli studi secondari.