Später kehrte Boletini der jungtürkischen Politik den Rücken und organisierte während des Sommers 1909 als Anführer einen Aufstand der Albaner im eigenen Land. Er führte 1910 und 1912 aufständische Albaner im Kampf gegen die osmanische Armee. Während des Ersten Balkankrieges kämpfte er im November 1912 als Hauptmann der freiwilligen bewaffneten Gruppen gegen serbische Einheiten.