Decker venne nominato Vice-capo di stato maggiore dell'Esercito degli Stati Uniti nel 1959, e il 1º ottobre 1960 divenne Capo di stato maggiore dell'Esercito degli Stati Uniti servendo in tale posizione fino al 30 settembre 1962. Uno tra i punti salienti del suo mandato da Capo di stato maggiore fu quello di supervisionare le argomentazioni per affrontare la Crisi di Berlino del 1961 (causata dalla costruzione del Muro di Berlino nel 1961). In tale veste Decker si impegnò nell'aumentare le forze per la guerra speciale, dando il via a nuove divisioni e a concetti di deposito moderni espandendo l'esercito statunitense a 16 divisioni. Decker si ritirò dopo la fine del suo mandato da Capo di stato maggiore.