Carl F. Mengeling var sønn av Carl H. og Augusta Huke Mengeling. Familien var luthersk, men ved konversjon ble Carl katolikk da han var ni år gammel. Han gikk på i Griffith, og deretter på til 1948. Mengeling begynte så ved St. Meinrad College and Seminary i Saint Meinrad i Indiana.