Etter å ha vært vitne til hvor samtlige opprør mot britiske Raj, besluttet han at sosial aktivisme og reformer ville være mer hensiktsmessig for pashtunere. Det førte til sist til opprettelsen av bevegelsen Khudai Khidmatgar («Guds tjenere»). Da bevegelsen fikk en viss suksess, ble de slått hardt ned på og Ghaffar Khan og hans tilhengere ble sendt i landflyktighet. Det var på dette stadiet på slutten av 1920-tallet at han dannet en allianse med Mahatma Gandhi og det indiske Kongresspartiet som varte fram til delingen av India i 1947.