A kisfiú 1941. szeptember 1-jén elkezdte általános iskolai tanulmányait, amelyet azonban durván félbeszakított a hitleri Németország csapatainak második világháborús inváziója a náci Barbarossa terv keretében, ahogy Moszkva elfoglalására vonult fel a német haderő. Gagarin faluját 1941. novemberében szállták meg a német csapatok, így a tanulmányai megszakadtak. A család otthonát a németek lefoglalták, és műhelyt alakítottak ki benne, a családfő a kertjükben egy földbe vájt putrit épített, ahol nagyjából 3 x 3 méteren volt kénytelen élni a hattagú család még másfél évig, amikor 1943. április 9-én a Vörös Hadsereg fel nem szabadította a települést. Időközben bátyját, Valentyint és nővérét Zoját a németek kényszermunkára hurcolták német és lengyel területen fekvő koncentrációs táborokba, ahonnan csak 1945-ben, a háború után térhettek haza. Szörnyű háborús élménye volt, hogy öccsét, egy a házuknál dolgozó német a sáljánál fogva felakasztotta az almafára. Jura az édesanyjához szaladt, aki időben kioldozta a sálon a csomót, a gyermek így életben maradt. Gagarin számára a felszabadulást követően újraindult az iskolai oktatás, ahol a tanárai intelligens és szorgalmas tanulóként jellemezték, aki különösen matematikából és fizikából tűnt ki.