બાળપણમાં, તેમનાં નાની દ્વારા તેમને તુબ્લુ હૂલામણું નામ આપવામાં આવ્યું હતું પણ તેઓ પાછળથી પંચમ ના હૂલામણાં નામે જાણીતાં બન્યા. આર. ડી. બર્મનનું પ્રાથમિક શિક્ષણ કોલકાતામાં થયું.