La tour fut détruite par l'armée allemande, pendant l'Occupation, le , jour anniversaire de l'indépendance des États-Unis (les États-Unis n'étaient alors pas encore en guerre contre le Troisième Reich, ce qui n'interviendra qu'en décembre 1941). Les Allemands construiront un bunker à son emplacement. Début septembre 1944, alors que les Alliés ont libéré une bonne partie de la France et de la Belgique, le général Pershing, toujours à la tête de l'ABMC, s'inquiéta auprès du général Eisenhower, alors chef des troupes alliées occidentales, de l'état des cimetières et monuments que l'ABMC avait construits. Le , Eisenhower lui répondit : . Mais ce courrier a été écrit une semaine avant la libération de Brest, Eisenhower ignorait alors la destruction du Naval Monument. La puissance occupante allemande avait affirmé, pour des raisons de propagande, que le monument avait été détruit par un raid aérien de la Royal Air Force. Mais selon l'officier de renseignement américain, le lieutenant-colonel Paul Krznarich chargé de l'enquête, . Le but de cette destruction pouvait être de priver de repère les aviateurs britanniques qui se servaient de la tour et du phare du Portzic comme alignement pour leurs bombardements.