Ludzát először egy 1173-ban vagy 1177-ben íródott orosz krónika említi. A livóniai Kardtestvérek rendje 1399-ben a meglévő latgal erődítményt felhasználva várat épített Ludzában. Ez az orosz területekre vezető kereskedelmi utak védelmére épült vár volt a Kardtestvérek rendjének leghatalmasabb erődítménye. 1481-ben az orosz seregek elfoglalták és részlegesen lerombolták, de 1525-re ismét megerősítette a lovagrend. Véglegesen 1656-ban, az orosz-svéd háborúban foglalták el az oroszok, és Alekszej orosz cár parancsára ismét lerombolták.