કરિયરની શરૂઆતમાં રહેમાન, સંગીત સમ્રાટ ઈલ્યારાજા (Ilaiyaraaja) માટે મ્યુઝિક કમ્પોઝ કરતા હતા. એ. આર. રહેમાન એક ઈન્ટરવ્યૂમાં જણાવે છે કે તે દિવસોમાં દરેક સંગીતકાર ઈલ્યારાજા બનવા માગતા હતા, કોઈ પણ સંગીતકાર કશું નવું કરવાના પ્રયાસ નહોતા કરતા.