Schwarzkopf ble utdannet ved United States Military Academy i West Point som han fullførte i mars 1917. Under den første verdenskrig ble han utsatt for et angrep med sennepsgass, noe som gjorde ham utsatt for respiratoriske lidelser for resten av livet hans. Etter hjemkomsten til USA med graden oberst ble Schwarzkopf utnevnt av daværende New Jersey-guvernør Edward I. Edwards til å lede det nyopprettede New Jersey State Police i 1921. Han trente personlig opp de første 25 State Police Troopers og han sto for organiserinen av State Police Department. Han forlot politistyrken i 1936 etter å ha blitt løst fra sin plikt av en New Jersey-guvernør som han ofte hadde diverse sammenstøt med.