San Víctor desempeñó un papel importante en el sistema de fortificaciones de la ciudad de Marsella, la abadía tuvo y tiene un aspecto defensivo: una torre construida en el transepto norte sirve como un calabozo y cuatro contrafuertes alrededor del ábside, tienen el papel de torreones.