Qazi Muhammed vokste opp i Mahabad i det nåværende Iran i en innflytelsesrik sunnimuslimsk familie som eide land rundt Bukan. Hans far var en respektert dommer. Han hadde en bror, Sadr Qazi som ble et medlem av det iranske parlamentet, og tre søstre. Han fikk sin utdannelse ved en religiøs skole og av hans far. Qazi Muhammed arvet sin fars stilling som dommer i Mahabad. I tillegg til kurdisk mestret han også språkene farsi, tyrkisk, arabisk og noen vestlige språk.