Han vokste opp på Tangen der faren Nicolai Nissen Pauss var skipsreder og skipper og moren Caroline Louise Salvesen drev en liten privatskole. Han ble oppkalt etter sin morfar og mormor Bent Salvesen og Cathrine Fegth. Forfedrene i familien Paus hadde vært prester og jurister i Øvre Telemark siden begynnelsen av 1600-tallet, men farfaren hadde tatt borgerskap som skipper og reder på Tangen. Han tok teologisk embetseksamen i 1865 og praktisk-teologisk eksamen i 1867, og ble i 1865 ansatt som lærer ved Nissens Pikeskole. I 1872 etterfulgte han Hartvig Nissen i skolens «triumvirat» av bestyrere og eiere; etterhvert ble han eneste bestyrer og eneeier. Skolen var den første høyere skolen for jenter i Norge, og stod i hans bestyrertid i spissen i den politiske kampen for å la jenter få adgang til middelskoleeksamen og for å bygge ut utdanningstilbud til jenter og kvinner på alle nivåer. Skolen ble derfor et sentrum for den fremvoksende kvinnesaksbevegelsen fra 1870-årene. Sammen med medbestyrerne Johan Carl Keyser og Einar Lyche tok han i 1877 initiativ til et lovforslag om middelskoleeksamen for jenter, som ble starten på en omfattende åpning av adgangen til høyere utdanning for kvinner i de nærmeste årene som fulgte. Dette initiativet bidro til å legge grunnlaget for åpningen av universitetet for kvinnelige studenter; Cecilie Thoresen var blant de første elevene – selv underviste Pauss henne i tysk – og fortsatte kampen for å få ta examen artium etter eksamen ved Nissens Pikeskole i 1879. Denne kampen gav også støtet til etableringen av Diskusjonsforeningen Skuld og deretter Norsk Kvinnesaksforening, der en rekke av hans etterkommere var aktive. Nissens Pikeskole begynte også med gymnasklasser for jenter og Pauss var også bestyrer for Nissens Pikeskoles seminar, som frem til 1882 var den eneste høyere utdanningsinstitusjonen som var åpen for kvinner. I hans bestyrertid begynte Nissens Pikeskole i 1900 også med barnehage, og kunne tilby et komplett løp med «Barnehave – Pigeskole – Gymnasium – Seminar». Politisk sognet han til den sosialt engasjerte «moderate» fløyen (dvs. venstrefløyen) i Høyre og stod nær avisen /. Samtidig var han progressiv innen kvinners rettigheter og særlig rett til utdanning, som han selv arbeidet for.