Seit seiner mutmaßlichen Fertigstellung nicht lange nach dem Tod des Drusus im Jahr 9 v. Chr. wurde mehrfach stark in die Bausubstanz eingegriffen. Erste größere Schäden hat das Kenotaph wahrscheinlich infolge des Bataveraufstandes erfahren, bei dem lediglich das Legionslager standhielt und unzerstört blieb. Entsprechende Befunde sind auch aus der Zivilsiedlung bekannt, wo beispielsweise die große steinerne Thermenanlage am Tritonplatz in diesem Zeitraum zerstört wurde. Eine zügige Instandsetzung und Restaurierung des Kenotaphs nach Wiederherstellung der Ordnung darf allerdings angenommen werden. Dass hierbei Spolien aus den durch die Aufständischen zerstörten Steinbauten verwendet wurden, wurde lange vermutet. Die weiter oben beschriebenen Großquader wurden entsprechend als Spolien zerstörter Steingebäude gedeutet. Die neueren bautechnischen Untersuchungen durch Panter ergaben allerdings keinen belegbaren Zusammenhang beziehungsweise einen Hinweis auf Spolienverwendung (siehe dazu auch das folgende Kapitel zum Thema „Datierung“).