Hoxhas største indflydelse i barndommen var hans onkel, Hysen Hoxha, som var en militant forkæmper for frigørelsen af Albanien fra det Osmanniske rige. Albanien fik sin uafhængighed da Hoxha var fire år gammel, efter den første Balkankrig. Hoxha fuldførte sin grund- og ungdomsskolen i hjembyen, og da han var 16 år gammel blev han medlem og sekretær for studenterrådet i Gjirokastër. Studenterrådet havde en gennemgående oprørsk demokratisk ånd, og Hoxha ledede protesterne imod regeringen som havde fået rådet nedlagt et år efter Hoxha kom med i det.