Le , la mère de , Louise de Savoie, et sa femme la reine Claude, fille de , descendent dans le midi de la France pour y retrouver le jeune roi, auréolé de sa victoire à Marignan. Le , elles montent au sanctuaire Notre-Dame-de-la-Garde. Quelques jours plus tard, le , les rejoint et se rend également à la chapelle. Au cours de cette visite, le roi constate que la ville de Marseille est mal défendue. La nécessité d'un renforcement du système défensif deviendra encore plus évidente en 1524 après le siège de la ville par le connétable qui s’est rallié à Charles Quint. Il s’en était, en effet, fallu de peu pour que la ville soit prise. décide alors de faire construire deux forts : l’un sur l’île d’If, qui deviendra le fameux château d'If, l'autre au sommet de la Garde qui englobera la chapelle. Il n’y aurait aucun autre exemple d’une coexistence entre un fort militaire et un sanctuaire ouvert au public.