Protocolul adițional secret al pactului Ribbentrop-Molotov din 1939 trecea Lituania în sfera de influență sovietică, și de URSS în iunie 1940. Cetatea a fost utilizată ulterior pentru a efectua interogatorii și pentru a interna deținuți politici. Germania a invadat URSS un an mai târziu, la 22 iunie 1941. Forțele naziste au pătruns în Kaunas la 24 iunie. Fortul VI a devenit tabără de prizonieri de război din Armata Roșie. Populația evreiască a Kaunasului număra între 35.000 și 40.000 de persoane; puțini aveau să supraviețuiască . Naziștii, ajutați de trupe auxiliare lituaniene, au început să masacreze populația evreiască. La 6 iulie, din ordinele SS, unitățile auxiliare lituaniene de poliție au împușcat aproape 3000 de evrei la Fortul VII. La 18 august, în ceea ce avea să fie cunoscut ca „acțiunea intelectualilor”, peste 1800 de evrei au fost împușcați la Fortul IV. La 29 octombrie, a avut loc „Marea Acțiune”—locuitorii au fost convocați și peste 9000 de bărbați, femei și copii au fost duși la Fortul IX și executați. Ulterior, în decursul restului perioadei de ocupație nazistă, peste 5000 de evrei deportați din Europa Centrală aveau să fie executați aici. Circa 60 au evadat în decembrie 1943; ei fuseseră puși să dezgroape și să ardă trupurile victimelor mai vechi, în contextul . Treisprezece dintre acești evadați au putut apoi documenta tentativa Aktion de a ascunde dovezile crimelor în masă.