यहाँ तक की कई बार राज कपूर के लिए रफी साहब ने गाया। जल्द ही संगीतकार सचिन देव बर्मन तथा उल्लेखनीय रूप से ओ पी नैय्यर को रफ़ी की आवाज़ बहुत रास आयी और उन्होने रफ़ी से गवाना आरंभ किया। ओ पी नैय्यर का नाम इसमें स्मरणीय रहेगा क्योंकि उन्होने अपने निराले अंदाज में रफ़ी-आशा की जोड़ी का काफी प्रयोग किया और उनकी खनकती धुनें आज भी उस जमाने के अन्य संगीतकारों से अलग प्रतीत होती हैं। उनके निर्देशन में गाए गानो से रफ़ी को बहुत ख्याति मिली और फिर रवि, मदन मोहन, गुलाम हैदर, जयदेव, सलिल चौधरी इत्यादि संगीतकारों की पहली पसंद रफ़ी साहब बन गए।