Rajas foreldre kom til Norge tidlig i 1970-årene. De innvandret fra Pakistan, og Abid Raja vokste opp i Iladalen i Oslo. Hans pakistanske familiebakgrunn har siden ungdomsårene vært en viktig drivkraft for hans engasjement på områder som integrering og innvandrernes kår i Norge.