Die Geschichte der militärischen Präsenz in Prizren begann 1906, als die osmanische Armee hier zur Kontrolle der albanischen und serbischen Lokalbevölkerung ein Regiment stationierte. Nur sechs Jahre später im Oktober 1912 wurde Prizren im ersten Balkankrieg von Serbien erobert und das ehemalige osmanische Lager wurde nun der Standort einer serbischen Garnison. Während des Ersten Weltkrieges war hier ab dem November 1915 eine Einheit der österreichisch-ungarischen Armee stationiert, bis sich nach deren Rückzug im Dezember 1918 die serbische Armee wieder in die Kontrolle über Prizren setzen konnte. In den Zwischenkriegsjahren wurde die Kaserne ausgebaut, in der ab 1929 die jugoslawische Armee einquartiert war. Unter anderem wurde in dieser Zeit auch das mit einem blauen Anstrich versehene Stabsgebäude errichtet, das von den Deutschen später wahlweise als „Blaue Residenz“, „Blaues Palais“, „Blaue Villa“ oder „Blaues Gebäude“ bezeichnet wurde. Nach der Eroberung des Balkans durch deutsche und italienische Truppen im Zweiten Weltkrieg 1941 war der größte Teil des Kosovo an den mit Italien assoziierten großalbanischen Staat angeschlossen, in Prizren wurde eine italienische Besatzungstruppe stationiert. Nach dem Bruch der deutsch-italienischen Allianz wurde die Stadt im Juli 1943 von der deutschen Wehrmacht besetzt und die Kaserne ab dem Februar 1944 von der SS-Division „Skanderbeg“ als ihr Hauptquartier bezogen. Am 17. November 1944 wurde Prizren von Partisaneneinheiten der kommunistischen nationalen Befreiungsarmee Albaniens befreit.