Seine Vorgehensweise trug Lord Elgin bereits zu Lebzeiten heftige Kritik seiner Zeitgenossen ein. Lord Byron schalt ihn im „Childe Harold’s Pilgrimage“ gar als „Kulturbarbaren“. Elgin rechtfertigte sich damit, er habe die durch den türkisch-griechischen Krieg gefährdeten Kunstschätze nur retten wollen. Die Griechen seien zu ihrem zuverlässigen Schutz gar nicht in der Lage gewesen, so dass sein Eingreifen geboten gewesen sei, um die Exkavate für die Ewigkeit zu retten. Seither wird der Raub von Kulturgütern vielerorts als „Elginismus“ bezeichnet.