Nachdem in der Nacht vom 30. auf den 31. Mai 1942 englische Bomber den bisher schwersten Angriff auf Köln geflogen waren, wurde aus Sicht der NS-Behörden ein größerer Einsatz von Häftlingen für Aufräum- und Wiederherstellungsarbeiten wie auch zum Bombenräumen notwendig. Reichsführer SS Heinrich Himmler ordnete an, dass zu diesem Zwecke KZ-Häftlinge eingesetzt werden sollten, die bis dahin vorrangig in Betrieben in der Nähe ihrer Lager gearbeitet hatten. Köln war die erste Stadt, in die eine solche SS-Baubrigade geschickt wurde, nachdem sich die Stadt mit Nachdruck dafür eingesetzt hatte; sie musste für die Arbeiter Lohnkosten an die SS zahlen. Diese SS-Baubrigade III bestand aus rund 1000 Häftlingen aus dem KZ Buchenwald, von denen 300 vorgeschickt wurden, um die Kongresshalle für die Unterbringung der Arbeiter vorzubereiten; die Zahl der untergebrachten Gefangenen schwankte in den kommenden Jahren aufgrund von Krankheit oder Tod. Insgesamt geht man von einer Gesamtzahl von 6000 Menschen aus, die die SS-Baubrigade III in Köln durchlaufen haben.