Oswald von Nell-Breuning var sønn av vingodsbesitteren Arthur von Nell (1857–1939) og hans hustru Bernharda von Breuning (1862–1933). Foreldrene hadde helst sett at Oswald skulle overta familiebedriften, men han ble tidlig trukket mot prestekallet i stedet.