Evald Pauss var sønn av den kjente skolemannen B.C. Pauss, en ledende skikkelse i utbyggingen av jenters og kvinners utdanning på 1800-tallet, og læreren Augusta Thoresen. Moren var datter av trelasthandler Hans Thoresen. Han vokste opp i Ekebergveien 1 (dvs. Oslo Hospital), siden i Wergelandsveien 3 rett overfor Grotten og endelig i toppetasjen på Nissens Pikeskole (Gamle Nissens Pikeskole) i Øvre Vollgate 15. Hans mor døde i 1875, og faren ble året etter gift med Henriette Pauss. Evald Pauss var eldre halvbror av den kjente legen Nikolai Nissen Paus, George Wegner Paus, Augustin Paus, Henriette Wegner Paus og Karoline Louise Paus. Hans gren av familien Paus skrev navnet Pauss på 1800-tallet. Forskjellen i skrivemåten skyldes at hans søsken rundt 1900, etter Evalds død, gikk over til å skrive navnet Paus.