Peter Edvard Rivertz giftet seg i 1894 med pianistinne Hanna Jensine Oxaas (1861–1941), utdannet i Tyskland.