Першу згадку Оліви виявлено в документах монастиря цистерціанців за 1186 рік. А вперше офіційно, тобто в юридичному документі — передавальному акті кількох сіл, в тому числі й Оліви, вона згадана в 1188 році. Історія Оліви понад 600 років була повязана з цистерціанським абатством і драматичними подіями навколо нього. Зокрема, у 1226 і 1236 роках відбулись напади Пруссії, у 1246, 1247, 1252 роках напади хрестоносців, а у 1308 році — напад бранденбуржців. Потім тривало захоплення Помор'я хрестоносцями в 1308—1309 роках, найпотужніша пожежа в абатстві 1350 року, навала гуситів у 1433 році, Тринадцятирічна війна (1454—1466) рр. та приєднання Помор'я до Польщі.