In Kolonja wurden mehrere Hügelgräber gefunden. Wichtigster Ort im Gebiet zur osmanischen Zeit war Leskovik. Durch die Grenzziehung verloren aber viele Bewohner ihre Grundstücke. Im Zweiten Weltkrieg war Kolonja erst Kampfgebiet von griechischen und italienischen Truppen und wurde nach der Kapitulation Italiens im September 1943 ein Zentrum des Widerstands gegen die deutsche Besatzung. Zur Partisanenbekämpfung führte die Wehrmacht eine so genannte "Sühnequote" ein: Für jeden getöteten Deutschen sollten 100 Albaner getötet werden. In Anwendung dieser Regel wurde als Vergeltungsmaßnahme und zur Abschreckung der Bevölkerung vor weiterer Unterstützung der Partisanen das Dorf Borova – das „albanische Lidice“ – zerstört und zahlreiche Bewohner ermordet.