Die Überreste des Tempels wurden in den folgenden Jahren schwer beschädigt: Otto Magnus von Stackelberg ist der letzte, der bei seiner Reise beide Säulen beschreibt (1810–1815). In der Zeit zwischen 1815 und 1828 stürzte die nördliche, vollständige Säule um, vermutlich bei einem Sturm. Im Winter 1828/1829 verursachte der US-amerikanische Arzt Samuel Gridley Howe die schwerwiegendsten Zerstörungen an den Überresten: Um den Flüchtlingen des Revolutionskrieges Arbeit und Nahrung zu verschaffen, ließ Howe sie für den Tagelohn von einem Laib Brot pro Person die Reste des Tempels abtragen und zum Bau einer neuen Mole im Hafen verwenden. Er begann mit 300 Arbeitern und beschäftigte zuletzt 700. Das Einzige, was sie übrig ließen, waren die tief in die Erde eingelassenen Fundamente und die letzte stehende Säule.