Urkundlich belegt ist es erst wieder ab 1525. Vier Jahre später, 1529, wurde das Siechenhaus abgebrochen, um der türkischen Armee während der Türkenbelagerung nicht als Unterkunft zu dienen. Das für den Wiederaufbau notwendige Geld stellte die Gräfin Barbara von Sankt Jörgen und Pösing in ihrem Testament zur Verfügung. Mit dem Neubau der Kapelle des Spitals änderte sich auch die Patronanz, nämlich von „"Sankt Job" ("Hiob")“ auf „"Maria Heimsuchung"“.