OKW ble opprettet etter at feltmarskalk og forsvarsminister Werner von Blomberg (1878–1946) ble tvunget til å gå av fra embetet i , den tyske «vernemakten», underlagt Rikskrigsministeriet ( fram til 1935, siden kalt ). Det rettslige grunnlag for opprettelsen var en forordning gitt av Adolf Hitler 4. februar 1938.