રાજીવ ગાંધીએ પોતાનું બાળપણ પોતાના નાના સાથે ત્રિમૂર્તિ ભવનમાં પસાર કર્યું હતું. ઇન્દિરા ગાંઘી તે સમયે પ્રધાનમંત્રીના ઘરની સંભાળ લેતા હતા. આરંભે ટૂંક સમયમાં દહેરાદૂન ખાતેની વેલ્હામ પ્રેપ શાળામાં અભ્યાસ કર્યા બાદ તરત તેઓએ હિમાલયની તળેટીમાં આવેલી નિવાસી દૂન સ્કૂલમાં પ્રવેશ મેળવ્યો હતો. તે સ્કૂલમાં જ તેમને પોતાના જીવનભરના અનેક મિત્રો મળ્યા હતા. આગળ જતાં નાનાભાઇ સંજય પણ એ જ શાળામાં જોડાયા હતા.