Pläne ein Armen- und Waisenhaus zu gründen, hatte es seit 1602 gegeben. Verwirklicht wurden diese erst Ende des 17. Jahrhunderts, nachdem das "Spendamt" den Baumeister Barthel Ranisch mit der Errichtung beauftragte. Die Mittel für den Bau stammten zum Teil aus Sammlungen, zum Teil aus einer Lotterie, die 1698 durchgeführt wurde. Der Bauplatz wurde nördlich des 1629 errichteten Zuchthauses gewählt. Auf ihm befand sich seit 1454 ein Pesthaus, das 1592 abbrannte und 1602 wieder aufgebaut wurde. Während des Polnisch-Schwedischen Krieges diente es 1656 als Lazarett und verfiel seitdem.