Rivertz var bror av arkitekt Kristen Tobias Rivertz, lensmann Peter Edvard Rivertz og høyesterettsdommer Jacob Andreas Rivertz.