Mangers var sønn av gårdbruker Johan Mangers (1862–1944) og Anna Maria Schmit (1864–1948). Han hadde tre kusiner som ble ordenssøstre og som ved hans prestevielse virket i Marokko, Frankrike (Château-Salins), og Italia.