Koleka utbildade sig till civilingenjör vid Universitetet i Pisa 1930–1934. Efter att Italien ockuperat Albanien 1939 anslöt han sig till motståndsrörelsen, och senare under andra världskriget till de kommunistiska partisanstyrkorna, där han kom att spela en betydande roll.