Begrepet Lillelitauen ble første gang benyttet mellom 1517 og 1526. Området var, med unntak av Klaipeda-regionen, som ble mandatområde under Folkeforbundet i 1920 ved Versaillestraktaten og ble knyttet til Litauen i 1923, en del av Preussen inntil 1945, da de tysk/prøyssiske innbyggere i stort tall fulgte Nazi-Tysklands oppfordring om å forlate området. Deretter ble Lille Litauen en del av Kaliningrad oblast i Sovjetunionen, og bare en mindre del av Lille Litauen ble liggende innenfor grensene av det moderne Litauen og Polen.