Het Damiate-verhaal en de 'wapenvermeerdering' worden echter tegengesproken door het ooggetuigenverslag van Olivier van Keulen, waarin niets te vinden is over het heldhaftige optreden van de Haarlemmers. Waarschijnlijk heeft Johannes Haarlem wat meer aanzien willen geven met dit verhaal. De Damiate-legende wordt ook tegengesproken door het feit dat het oudst bekende stadszegel uit 1345 het wapen met zwaard en kruis nog niet gebruikt, pas in 1391 gebeurde dit voor het eerst. Het motto "vicit vim virtus" duikt pas op na het Beleg van Haarlem in de zestiende eeuw.