રહેમાનનો જન્મ ૬ જાન્યુઆરી, ૧૯૬૭ના રોજ ચેન્નાઈમાં થયો હતો. તેના પિતા શેખર કમ્પોઝર અને મ્યુઝિક કંડક્ટર હતા. તેઓ તમિલ અને મલયાલમ ફિલ્મોમાં કામ કરતા. આથી રહેમાન ઘણી વાર તેના પિતા સાથે સંગીત સ્ટુડિયોમાં જતો. તેના પિતાનું અવસાન થયું ત્યારે રહેમાન માત્ર ૯ વર્ષનો હતો. રહેમાન કી બૉર્ડ સારું વગાડતો હતો. અત્યારના તેના કાર્યક્રમોમાં ઘણી વાર પર્કશનિસ્ટ તરીકે શિવમણિ હોય છે, તેની સાથે તેનો ઘણો જૂનો સંબંધ છે. આ શિવમણિ સાથે તે બેન્ડમાં કામ કરતો. ધીમે ધીમે તેણે કીબૉર્ડ ઉપરાંત, પિયાનો, સિન્થેસાઇઝર, હાર્મોનિયમ અને ગિટાર બધામાં નિપુણતા પ્રાપ્ત કરી લીધી.