В 1984 году стал губернатором штата Андхра-Прадеш. В во время его губернаторства в этом штате сикхскими экстремистами были убиты его дочь Гитанжали и зять, Лалит Макен, молодой член парламента и перспективный политик. Кроме того, 31 октября 1984 года была убита Индира Ганди. Вскоре после этого, в 1985 году, в разгар конфликта между центральной властью Индии и сикхскими экстремистами, Шанкар Шарма стал губернатором штата Пенджаб, где в основном проживают сикхи. В 1986 году стал губернатором штата Махараштра. В 1987 году избран вице-президентом Индии и председателем верхней палаты парламента Раджья Сабха.