Abdul Rashid vegret seg til å begynne med, til forskjell fra sin eldre bror Abdul Aziz Ghazi, mot å ta noen formell muslimsk utdannelse. Han begynte studier i en madrassa under påvirkning fra sin far maulana Muhammad Abdullah Ghazi men hoppet snart av denne.