Vimy possédait autrefois le château d'Adam de Vimy datant de 1249, qui s'élevait à l'emplacement de l'actuel hôtel de ville, point culminant de la partie basse de la ville. Celui-ci a notamment été utilisé comme refuge pour accueillir les blessés de la bataille de Lens du . Vimy et son château furent l'enjeu de plusieurs batailles, comme en 1349, lorsque Vimy fut attaquée par les Anglais, puis entre 1708 et 1712, lors de la guerre de Succession d'Espagne. Le château fut détruit en 1833. On découvrit alors des centaines de squelettes dans l'ancienne cour du château. Leur présence fut attribuée à la bataille de Lens et à l'utilisation du château comme hôpital militaire par les troupes de Condé, mais il semblerait plutôt qu'ils proviennent d'une nécropole romaine sur l'emplacement de laquelle fut élevé le château.