રફી બે ફિલ્મોમાં પણ દેખાયા હતા. 1945માં રફી લૈલા મજનુ ફિલ્મમાં "તેરા જલવા જિસને દેખા" ગીતમાં પરદા પર જોવા મળ્યા.[૧૧] સમૂહગાન તરીકે તેમણે નૌસાદ માટે અનેક ગીતો ગાયા, જેમાં "મેરે સપનો કી રાની", શાહજહાન (1946) ફિલ્મમાં કે. એલ. સૈયગલ સાથે "રુહી રુહી"નો સમાવેશ થાય છે. મેહમુદ ખાનની અનોમલ ઘડી (1946) ફિલ્મનું "તેરા ખિલૌના ટુટા બાલક" અને 1947માં જુગ્નુ ફિલ્મમાં "યહાં બદલા વફા કા" ગીત નૂર જહાં સાથે ગાયું.ભારતના ભાગલા બાદ રફીએ ભારતમાં જ રોકાઈ જવાનો નિર્ણય કર્યો, અને તેમનું કુંટુંબ મુંબઈ આવી ગયું. તો આ તરફ નૂર જહાં પાકિસ્તાન સ્થળાંતરિત થાય અને તેમણે ગાયક અહમદ ઋષિ સાથે જોડી બનાવી. રફી તે સમયના ગાયકો જેવા કે, કે. એલ. સયગલ, તલત મહોમ્મદ અને ખાસ જાણીતા જી. એમ. દુર્રાનીથી ખૂબ પ્રભાવિત હતા, જેમની શૈલી રફીની ગાયકીમાં જોવા મળતી. તેમણે પોતાના આ પ્રેરણામૂર્તિ સાથે પણ કેટલાક ગીતો ગાયા, જેવા કે "હમકો હંસતે દેખ જમાના જલતા હૈ " (હમ સબ ચોર હૈ, 1959)[૧૪] અને "ખબર કિસીકો નહીં વો કિધર દેખતે " (બેકસૂર, 1950)[૧૫] વિગેરે.