1945માં રફીએ તેમની પિત્રાઈ બિલ્કીસ સાથે તેમના ગામમાં લગ્ન કર્યા.[૬] જેનાથી તેમને ચાર પુત્રો અને ત્રણ પુત્રી થઈ. તેઓ મદ્યપાન નહી કરનારા, ધાર્મિક અને અંત્યત ઉમદા વ્યક્તિ હતા.[૫૬] તેઓ ઘણા પારિવારીક માણસ હતા, રેકોર્ડિંગ રૂમથી ઘર અને ઘરથી રેકોર્ડિંગરૂમ તેમનો ક્રમ હતો. તેઓ ક્યારે પારિવારી પ્રસંગોમાં હાજરી આપતા નહી તેમજ ધુમ્રપાન કે દારૂનુ સેવન પણ કરતા નહી. તેઓ ભૂલ્યા વગર દરરોજ સવારે 3થી 7 વાગ્યા સુઘી તેમના સંગીતનો અભ્યાસ કરતા. તેમના અન્ય શોખમાં માત્ર કેરમ રમવુ, બેડમિન્ટન અને પતંગ ઉડાડવું હતુ.[૧૩]