История Оливы более 600 лет была неразрывна с цистерцианским аббатством и драматическими событиями вокруг него. Она включила нападения Пруссии в 1226 и 1236 годах, нападения крестоносцев в 1246, 1247, 1252 годах, нападение бранденбуржцев в 1308 году, захват Поморья крестоносцами в 1308—1309гг, мощнейший пожар в аббатстве 1350 года, нашествие гуситов в 1433 году, Тринадцатилетняя война (1454—1466) годах и присоединение Поморья к Польше, разрушение Оливы в 1577 году гданьскими солдатами, эпидемии 1588, 1653 и 1709 годов, шведские набеги 1626 и 1656 годов, «Оливский мир» 1660 года, разграбления времен Наследственной войны 1733—1734 годов.