Tijdens de zevenjaarlijkse heiligdomsvaarten konden de gasthuizen van Sint-Servaas en Sint-Jacob de toestroom van pelgrims niet aan en boden ook andere gasthuizen (alsmede kloosters en particulieren) onderdak. Vanaf de zestiende eeuw nam het aantal pelgrims in Maastricht af, waardoor het Sint-Servaasgasthuis zich op andere doelgroepen ging richten. In 1500 waren er dertien gasthuizen in de stad; in 1626 nog maar zes. In 1571 vond er onder rector Peter van Daele een grote verbouwing plaats. In 1615 arriveerden tien zusters augustinessen uit Tienen om de verzorging van zieken, armen en ouden van dagen op zich te nemen. Na de verovering door Frederik-Hendrik moesten de zusters plaatsmaken voor ingehuurde lekenverplegers. In 1639 was de chirurgijn Robert Charbonier aan het gasthuis verbonden. Vanaf circa 1750 werden helemaal geen buitenlandse pelgrims meer opgenomen, op verzoek van militair gouverneur Hobbe Esaias van Aylva. In de Franse tijd werden alle religieuze instellingen, ook het Sint-Servaasgasthuis, opgeheven. Het gebouw fungeerde nog enige tijd als militair hospitaal en, na het vertek van de Fransen, als algemeen ziekenhuis.