In 1820 werd door de gemeenteraad besloten er een Rijks Lagere School in te vestigen, maar dit duurde slechts tot het begin van de Belgische Tijd in 1830. In 1831 werd besloten een Hogere Stadsschool in het complex te vestigen, die in 1852 werd verplaatst naar een pand aan de Markt. In 1852/53 werd een grondige verbouwing van het complex gegund aan de uit Roermond afkomstige architect Pierre Cuypers. In 1862 kreeg het complex een nieuwe bestemming door de vestiging van het zogeheten Sint-Jozefgasthuis. Dit ziekenhuis werd in 1933 verplaatst naar de Hoge Weg en daarmee kwam het complex weer vrij. Het werd toen jeugdhuis en later in 1939 een tehuis voor ouden van dagen onder de naam 't Groenewold.