À partir du et après le succès du débarquement allié en Normandie, Raoul Nordling (consul de Suède) et Jacques de Rohan-Chabot (directeur de la Croix-Rouge française), négocient avec le général von Choltitz la libération de prisonniers politiques internés en France. Le , un accord est conclu transférant de la Wehrmacht à la Garde mobile l'autorité sur les camps de prisonniers situés sur le territoire français. Or, Royallieu est le seul camp en France dépendant exclusivement du Service de sécurité de la SS.