Alois Brems ble født i 1906 som den yngste av 15 barn på Ziegelhof nær Eichstätt. Etter å ha uteksaminert seg fra det humanistiske gymnasium i Eichstätt, studerte han katolsk teologi og filosofi ved universitetet i Eichstätt.