Børneasylet fikk sin nåværende form av Ferdinand Rørby i 1803, med symmetrisk fasade i louis-seize-stil ut mot Tollbugata. Bygningen består imidlertid av to sidestilte tømmerkjerner, bygd på forskjellige tider. Den eldste delen ble trolig reist av Gustavus Blom alt rundt midten av 1700-tallet, og trolig påbygd til to etasjer før 1797. Bygningen er seksjonert til åtte leiligheter fordelt over tre etasjer.