બહુ નાની ઉંમરથી જ તેમને સંગીત પ્રત્યે લગાવ થઈ ગયો હતો. સાતેક વર્ષની ઉંમર હશે ત્યારે, તે સમયની ગામેગામ ફરીને ગીતો ગાઈને લોકોનું મનોરંજન કરતી જાણીતી ગાયિકા ચંદ્રાબાઈની ગાયકીથી અખ્તરીબાઈ ખૂબ જ પ્રભાવિત થયાં હતાં. ગળું તો બહુ નાનપણથી જ કેળવાઈ ગયું હતું. પણ ચંદ્રાબાઈની જેમ પોતાના ગળાની નુમાઈશ કરીને ગઝલ શીખવાનો મનસૂબો પાર પાડે એ પહેલાં જ અખ્તરીબાઈના પિતાએ અચાનક જ કૌટુંબિક અસંતોષને કારણે અખ્તરીબાઈ અને તેમની માતાનો ત્યાગ કરી દીધો. હતાશ માતાએ મજબૂરીવશ, અખ્તરીબાઈને લઈને, પોતાના ભાઈને ઘેર ‘ગયા’ શહેરમાં આશરો લેવો પડયો. અખ્તરીબાઈનો સંગીતશોખ લાંબા સમય સુધી મામાના ધ્યાન બહાર ન રહ્યો. પણ એમણે અખ્તરીબાઈના ગઝલશોખની સાથોસાથ શાસ્ત્રીય સંગીતની તાલીમ પર ભાર મૂક્યો. એમના આગ્રહને વશ થઈને પટણાના મશહૂર સિતારવાદક ઉસ્તાદ ઈમદાદખાન પાસે અખ્તરીબાઈની ગઝલની તાલીમ શરૂ થઈ. પણ થોડા સમયમાં જ તેમની માતાએ ગયાથી કલકત્તા સ્થાયી થવાનો નિર્ણય લીધો. પતિયાલા ઘરાનાના ઉસ્તાદ અતા મોહમ્મદખાન પાસે અખ્તરીબાઈની ગઝલની સાથોસાથ ઠૂમરી, ખયાલ, વગેરે જેવા ઉપશાસ્ત્રીય ગાયનપ્રકારોની સઘન તાલીમ શરૂ થઈ. આજે બેગમની જે ગઝલો સાંભળીને રેશમ-રેશમ થઈ જવાય છે એ તે સમયના, સાત-આઠ વર્ષની માસુમ ઉંમરમાં બેગમે કરેલા રોજના સાત-આઠ કલાકોના રિયાઝનું પરિણામ જ હશેને!