Etter Andrej Gretsjkos død i 1976 ble Ustinov forsvarsminister, og ble forfremmet til armégeneral. Noen dager senere ble han forfremmet til marskalk av Sovjetunionen, den høyeste militære rangen i Sovjetunionen, til tross for at han manglet tidligere militær karriere.