Bereits am 14. November 1962 wurde er von Premierminister Jawaharlal Nehru als Verteidigungsminister "(Union Minister of Defense)" erstmals in eine Unionsregierung berufen und bekleidete dieses Ministeramt auch unter Nehrus Nachfolger Lal Bahadur Shastri sowie in den Interimsregierungen von Gulzarilal Nanda. Während seiner Amtszeit als Verteidigungsminister für eine umfangreiche Modernisierung des Heeres sowie der Luftstreitkräfte durch, die maßgeblich zum Erfolg Indiens während des Zweiten Indisch-Pakistanischen Krieges 1965 sowie des Bangladesch-Krieges 1971 beitrug.