Latgalliaa asuttivat ensimmäisenä balttilaiset heimot. Kalparitaristo sai vallan alueella 1270. Vuonna 1559 Liivinmaan sodan jälkeen alue liitettiin Liettuan suuriruhtinaskuntaan ja 1569 siitä tuli Puola-Liettuan osa. Tänä aikana suuri osa väestöstä kääntyi katoliseen uskoon. Alueesta tällöin käytettiin nimeä "Inflantia".