તેમનો ઉછેર વાંસળીવાદક પરિવારમાં થયો હતો. એન. રમાનીએ વાંસળી વાદ્યનું પ્રારંભિક જ્ઞાન તેમના દાદા શ્રી આઝિયુર નારાયણસ્વામી ઐયર પાસેથી મેળવ્યું હતું, જેમનું સંગીતની દુનિયામાં વાંસળીવાદક અને ગીતકાર તરીકે બહુ મોટું નામ હતું.