I 1851 overtok stiftelsen Bergens Barneasyl bygningen. Biskop Jacob Neumann hadde 11 år tidligere tatt initiativet til stiftelsen som skulle oppdra barn under skolepliktig alder. Etter å ha solgt et skrift i forbindelse med innvielsen av den nye katedralskolebygningen, fikk biskopen i 1841 reist 800 spesidaler til drift. I november samme året kunne kommunen starte opp asyldriften i den gamle latinskolebygningen.