Gerillahadjáratait folytatta a Balkán-háborúk során is, amelynek eredményeként 1914. április 15-ére száz embere élén, valamint holland katonai támogatással kiverte a Korçát megszállás alatt tartó görögöket és letartóztatta a várost addig irányító tanács valamennyi tagját, valamint a görögbarát Germanosz püspököt. A görögök azonban 1915-ben ismét átvették a város feletti ellenőrzést, s Gërmenji hazáját elhagyni kényszerült, Szófiába menekült. 1916 októberében tért vissza Albániába, s útja az akkor éppen a Monarchia és Bulgária által megszállt Pogradecbe vezetett, hogy egyéni politikai ambícióihoz szövetségest találjon. Miután az osztrákok elzárkóztak a segítségnyújtástól, Gërmenji és szövetségese, Sali Butka folytatták a fegyveres harcot a görögök ellen.