In 1639 wordt het beeld ondergebracht bij de zusters van het Annunciatenklooster in Wyck. Na anderhalf jaar werd het beeld overgebracht naar het klooster Slavante op de Sint-Pietersberg, een oud klooster van de franciscaanse observantenbeweging, dat na 1638 opnieuw was opgebouwd. Dit klooster leek aanvankelijk veilig, omdat het in de zogenaamde Vrijheid van Sint Pieter lag, in het prinsbisdom Luik. Toch werd het beeld kort daarna per boot bij een burger van Visé afgeleverd, Thomas Libotte genaamd. Ook daar bleef het niet lang, want na enkele maanden verhuisde het naar het Minderbroedersklooster in Tongeren, waar het van 1641 tot 1675 onderdak vond en ook vereerd werd. Tijdens de bezetting van Maastricht van 1673 tot 1678 kon het beeld weer korte tijd terugkeren naar haar eigen stad, Met toestemming van het kapittel van Sint-Servaas werd het in 1675 geplaatst in de Sint-Jacobskapel, op de hoek van het Vrijthof en de Bredestraat (begin 19e eeuw gesloopt). Uit de tijd van de "ballingschap" dateren diverse legenden.