Karaimenes historie i Litauen begynte rundt år 1400 med kong Vytautas den store; portretter av han finnes i nesten alle karaimhjem. Etter en krig mot den Den gylne horde på Krim i 1397, brakte han 380 karaimfamilier til Trakai.