Nel 1923 le truppe lituane al comando del colonnello Budrys occuparono la città e le truppe francesi si ritirarono. Memel fu annessa al Terzo Reich il 22 marzo 1939, dopo l'annessione di Austria, Sudeti, e Cecoslovacchia. Molti abitanti lituani ed ebrei si rifugiarono in Lituania. La città subì gravi distruzioni durante la seconda guerra mondiale, a partire dalla fine del 1944 e fino all'inizio del 1945. Nell'ottobre del 1944 gli abitanti evacuarono la città, che venne catturata dall'Armata Rossa nel gennaio 1945 e successivamente annessa alla Repubblica Socialista Sovietica Lituana.