Abdülkerim Kasım'ın 1958'de krallığa son veren darbesinden sonra Irak'a döndü. Yasal bir kimlik kazanan Kürdistan Demokratik Partisi'nin önderi olarak önceleri yeni yönetimi destekledi. Ama ekonomik ve kültürel haklar konusunda verilen sözler yerine getirilmeyince, Eylül 1961'de ayaklandı ve peşmerge ("ölüm öncüsü") denen gerilla kuvvetiyle Kuzey Irak'ın büyük bir bölümüne egemen oldu. Irak yönetimindeki çeşitli değişiklikler doğrultusunda zaman zaman ateşkes anlaşmaları yapmakla birlikte, Kuzey Irak'ta özerk bir yönetim kurmaya yönelik silahlı mücadeleyi başarıyla sürdürdü. Mart 1970'te Kürtlerin isteklerini kabul eden bir antlaşmanın imzalanması üzerine, silahlı mücadeleye son verdi.