Rivertz var bror av høyesterettsdommer Johan Albrigt Rivertz, arkitekt Kristen Tobias Rivertz og høyesterettsdommer Jacob Andreas Rivertz.