૧૯૪૪માં અબ્દુલ હમીદ સાથે મુંબઈ આવ્યા બાદ રફી ભીંડી બજારમાં દસ બાય દસ ફૂટની એક ખોલીમાં ભાડે રહેતા હતા. ગીતકાર તનવીર નકવીએ રફીની ઓળખ અબ્દુલ રશીદ કારદાર, મેહબૂબ ખાન અને ઍક્ટર-ડિરેક્ટર નાઝીર જેવા એ વખતના ફિલ્મકારો સાથે કરાવી હતી. લાહોરમાં પંજાબી ફિલ્મમાં તેની પાસે ગીત ગવડાવી ચૂકેલા શ્યામ સુંદર મુંબઈમાં હતા અને તેમણે ૧૯૪૫માં હિન્દી ફિલ્મ ‘ગાંવ કી ગોરી’માં જી. એમ. દુરાની સાથે ‘અજી દિલ હો કાબૂ મેં તો દિલદાર કી ઐસી-તૈસી...’ ગીત રફી પાસે ગવડાવ્યું, જે તેમનું પહેલું હિન્દી ફિલ્મનું ગીત બની રહ્યું. પરંતુ રફીએ ક્લાસિક ગીતો મહાન સંગીતકાર નૌશાદનાં ગાયાં છે અને ૧૯૪૪થી જ તેમનાં ગીતોમાં કોરસ આપતા હતા. આ રીતે તેમણે પહેલું ગીત ગાયું કારદારની ફિલ્મ ‘પહલે આપ’નું ‘હિન્દુસ્તાન કે હમ હૈં...’.