રાજીવના પિતા શાંતિ સ્વરૂપ ધવન ન્યાયધીશ, યૂકેમાં ભારતના રાજદૂત, પશ્ચિમ બંગાળના રાજ્યપાલ અને લો કમીશનના સભ્ય રહી ચૂક્યા છે.