Azem var født i landsbyen Galice i Drenica-regionen i Kosovo og tilhørte den albanske Kuči-klanen. Han var sønn av Bejta Galica, en nasjonalist som kjempet mot Det osmanske riket og for frigjøring fra den serbiske stat.