1944માં રફી બોમ્બે (આજનું મુંબઈ) આવ્યા, ભાઈઓએ ભેગા મળીને ભીંડી બજારના ગીચ વસ્તીવાળા વિસ્તારમાં દસ બાય દસની રૂમ લીધી. અહીં કવિ તનવિર નકવીએ તેમને કેટલાક ફિલ્મ નિર્માતાઓ અબ્દુલ રશિદ કારદાર, મહેબૂબ ખાન, અને અભિનેતા-દિગદર્શક નાઝિર સાથે ઓળખાણ કરાવી આપી.[૭] ચોપાટીના દરિયા કિનારે સવારના સમયે લાંબા કલાકો સુધી તેઓ રિયાઝ કરતા. શ્યામ સુંદર મુંબઈમાં હતા અને તેમણે ફરી એકવાર રફીને તક આપી- જીએમ દુર્રાની સાથે ગાંવ કી ગોરીમાં યુગલ ગીત 'અજી દિલ હો કાબુમેં તો દિલદાર કી ઐસી તૈસી...' ગાયું, જે હિન્દી ફિલ્મોમાં રફીનું પ્રથમ રિકોર્ડેડ ગીત હતું. જે બાદ તેમણે બીજા ઘણા ગીતો ગાયા.[૧૩]