Puolalaisia alkoi tulla Latviaan niin sanottuna puolalaisaikana vuodesta 1562. Latgalen alue oli päätynyt Puolan vallan alle Liivinmaan sodassa. Puolalaisista tuli alueen yläluokkaa ja he omistivat moisioineen laajoja maa-alueita. Puolalaisten merkitys alueella väheni vasta kun Latgale liitettiin Venäjään vuonna 1772. Väinänlinna oli erityisen tärkeä puolalaisen kulttuurin keskus. Puolan kapinan aikaan vuonna 1863 myös Latgalessa oli levottomuuksia. Niiden jälkeen alueella alkoivat venäläistämistoimet. Latinalaisilla aakkosilla kirjoitetut kirjat kiellettiin ja puolan kielen opetus oli käytännössä mahdotonta. Latgalen vaikeuksien takia 1800-luvun lopussa Riiasta tuli tärkein puolalaisen kulttuurin keskus. Riikaan tuli ensimmäinen puolalainen koulu ja Polyteknisen korkeakoulun puolalaiset osakunnat.