Peter var den eldste av ti barn av bryggeren Stephan Legge og hans hustru Therese, født Nolte. Han vokste opp med sine tre brødre og seks søstre i Brakel i Westfalen. Familien bodde i Ostheimer Straße 8, hvor hans foreldre hadde drevet vertshus siden 1871. Hans bror Theodor Legge ble også katolsk prest. Begge brødrene jobbet senere tett sammen i sine forskjellige kirkelige funksjoner.