El a devenit comandant al unor trupe neregulate albaneze și a inițiat operațiuni armate de gherilă în 1906 în regiunile moderne din sudul Albaniei, care erau sub control Otoman în acel moment. Activitățile de gherilă au continuat în următorii ani și mai ales în Războaiele Balcanice (1912-1913) și în  Primul Război Mondial (1914-1918). În Campania din Balcani a Primului Război Mondial, mai multe trupe de albanezi au sprijinit cu activitatea lor operațiunile armate ale Puterilor Centrale în regiune. Butka și trupa lui sunt responsabili pentru raderea orașului Moscopole în 1916, o metropolă prosperă în secolul al 18-lea. Majoritatea locuitorilor săi aromâni au fost masacrați în mod brutal de trupele albaneze iar supraviețuitorii au fost siliți să fugă în orașul apropiat Korçë.