Peter Cornelius var sønn av skuespillerekteparet Carl (1793–1843) og Friederike Schwadtke (1789–1867). Historikeren Carl Adolf Cornelius (1819–1903) og forfatterinnen Auguste Cornelius (1841–1891) var Peters søsken.