Die Klostergebäude übertrug Karl II. 1565 dem Heilig-Geist-Spital. Sie wurden im Pfälzischen Erbfolgekrieg bei der Brandschatzung Pforzheims durch den französischen Heerführer Ezéchiel de Mélac 1689 zerstört, 1714/18 jedoch unter weitgehender Berücksichtigung der ursprünglichen Bebauung als Waisenhaus wieder aufgebaut. Das Waisenhaus wurde 1773/74 aufgelöst. Die Gebäude dienten noch bis 1804 als Zuchthaus, bis 1842 als Irrenhaus. 1842 bis 1921 war dort ein Heil- und Pflegeheim untergebracht. Nach Übergang in kommunale Hand wurden sie in Sozialwohnungen umgewandelt. Am 23. Februar 1945 wurden sie bei einem britischen Bombenangriff vollständig zerstört. An ihrer Stelle steht heute das Stadttheater Pforzheim bzw. (im Bereich der Klosterkirche) das CongressCentrum.