રાજીવના પિતા શાંતિ સ્વરૂપ ધવન ન્યાયાધીશ, યૂકેમાં ભારતના રાજદૂત, પશ્ચિમ બંગાળના રાજ્યપાલ અને લો કમીશનના સભ્ય રહી ચૂક્યા છે.