Forholdet til Jugoslavia kjølnet raskt, ettersom Tito mente at Albania burde inngå i Jugoslavia. Den fremste albanske talsmannen for et tett økonomisk samkvem med Jugoslavia var Koçi Xoxe. Hoxha anså avtalene med Jugoslavia som en trussel mot Albanias suverenitet, slik avtalene med Italia før krigen hadde vært det. Jugoslavene fordømte Hoxhas politikk som opportunistisk, og mente at Albania ikke kunne inngå avtaler med andre stater uten Jugoslavias samtykke. Xoxe klandret Hoxha for uvennskapet med Jugoslavia, og forsøkte å styrte ham i 1948. Hoxha sikret sin posisjon da Jugoslavia brøt med Sovjetunionen samme år. Hoxha benyttet anledningen til å erklære alle avtaler med Jugoslavia ugyldige, og utvise alle jugoslaver fra landet. Xoxe ble ekskludert fra partiet og henrettet.