फिल्म ‘चौदहवीं का चांद’ (1960) के गीत के लिए रफी को पहली बार फिल्म फेयर पुरस्कार मिला। 1961 में रफी को दूसरा फिल्मफेयर पुरस्कार फिल्म ‘ससुराल’ के गीत ‘तेरी प्यारी-प्यारी सूरत’ के लिए मिला। लक्ष्मीकांत-प्यारेलाल के धुनों से सजी फिल्म ‘दोस्ती’ (1965) के गीत ‘चाहूंगा मैं तुझे सांझ सवेरे’ के लिए उन्हें तीसरा फिल्मफेयर पुरस्कार मिला। साल 1966 की फिल्म ‘सूरज’ के गीत ‘बहारों फूल बरसाओं’ के लिए उन्हें चौथा पुरस्कार मिला। 1968 में ‘ब्रह्मचारी’ फिल्म के गीत ‘दिल के झरोखे में तुझको बिठाकर’ के लिए उन्हें पाचवां फिल्मफेयर पुरस्कार मिला और 1977 की फिल्म ‘हम किसी से कम नहीं’ के गाने ‘क्या हुआ तेरा वादा’ के लिए गायक को छठा पुरस्कार मिला।