De første nybyggere prøvde å bevare sin sjamanistiske religion og søkte asyl blant de ikke-kristne litauere. Mot slutten av 1300-tallet ankom en annen bølge av tatarer, muslimer, som ble invitert til Storfyrstedømmet av Vytautas den store. Disse tatarer slo seg først ned i Det egentlige Litauen omkring Vilnius, Trakai, Grodno og Kaunas og spredte seg senere til andre deler av storfyrstedømmet, som senere ble en del av den polsk-litauiske realunion, i områder som er en del av det nåværende Litauen, Belarus og Polen. Fra begynnelsen av ​​deres bosettelse i Litauen var de kjent som Lipka-tatarer. Selv om de bevarte sin religion, ble deres historie knyttet tett til den overveiende kristne polsk-litauiske realunion. Fra slaget ved Grunwald og fremover deltok Lipka-tatarenes lette kavaleriregimenter i alle betydelige slag på Litauens og Polens side.