Neumann tok i 1840 initiativet til stiftelsen av Bergens barneasyl. Barneasylet skulle oppdra barn under skolepliktig alder. Etter å ha solgt et skrift i forbindelse med innvielsen av den nye katedralskolebygningen, fikk biskopen i 1841 reist 800 spesidaler til drift. I november samme året kunne kommunen starte opp asyldriften i den gamle latinskolebygningen.