Durante esta época él se mantuvo al margen de la política a pesar de ser su madre la primera ministra del país y únicamente tras la muerte de su hermano menor Sanjay Gandhi en 1980, pasó Rajiv a ocupar las responsabilidades políticas que inicialmente estaban destinadas al fallecido.