Höß ble født i en katolsk familie, og faren som tidligere hadde vært offiser og var blitt skadet som major i Afrika, ble dimittert som følge av dette og plager etter gulfeber. Siden ble faren kjøpmann og ville at sønnen skulle bli prest, men etter farens død meldte Höss seg i 1916 som frivillig til den tyske hæren, bare 15 år gammel. Han hadde på dette tidspunktet bare åtte års skolegang. Han ble 17 år gammel den yngste underoffiseren i den tyske hæren.