1970ની મધ્યમાં રફીએ મુખ્ય ગાયક તરીકે પુનરાગમન કર્યું. 1974માં, ઉષા ખન્ના દ્વારા રચાયેલા ગીત “તેરી ગલિયોં મેં ના રખ્ખેંગે કદમ આજ કે બાદ” (હવસ, 1974) માટે રફીએ ફિલ્મ વર્લ્ડ મેગેઝિન બેસ્ટ સિંગર અવૉર્ડ જીત્યો.[૧૮]1977માં, આર. ડી. બર્મન દ્વારા રચાયેલા, હમ કિસી સે કમ નહીં ફિલ્મના ગીત “ક્યા હુઆ તેરા વાદા” માટે ફિલ્મફેર પુરસ્કાર અને રાષ્ટ્રીય પુરસ્કાર એમ બંને જીત્યા.[૧૯] રફીએ રિષી કપૂર માટે અમર અકબર એન્થની (1977), સરગમ (1979) અને કર્ઝ (1980) જેવી ફિલ્મોમાં ગીતો ગાયા. અમર અકબર એન્થની (1977) ફિલ્મની કવ્વાલી “પરદા હૈ પરદા” ખૂબ સફળ રહી હતી. 1970ના દાયકાના અંતમાં અને 80ના દાયકાની શરૂઆતમાં રફીની નોંધપાત્ર ગાયકીમાં લૈલા મજનુ (1976), અપનાપન (1978), કુરબાની , દોસ્તાના (1980), ધ બર્નિંગ ટ્રેન , નસીબ (1981), અબ્દુલ્લાહ (1980), શાન (1980), અને આશા (1980)નો સમાવેશ થાય છે.