Ludwig Pastor, som nedstammet fra den protestantisk pregede aachenske kledefabrikantfamilie Pastor, var sønn av kjemikalieforhandleren Ludwig Daniel Pastor (1800–1864) og den katolske Anna Sibylle Onnau (1824–1899). Etter farens tidlige død tok Ludwig som tiåring morens religion og studerte etter skoletiden i Frankfurt am Main. Han studerte fra 1875 i Leuven, 1875/76 i Bonn og 1877/78 i Wien og Graz.