Lata 1655–1660 to czas kolejnej wojny ze Szwedami, zwanej w Polsce „Potopem”. Wielu zakonników opuściło na ten czas Oliwę. Skarbiec i biblioteka klasztoru zostały przeniesione do Gdańska, którego Szwedzi nie zdołali zdobyć. Natomiast opactwo oliwskie zostało w 1656 roku splądrowane przez szwedzkich żołnierzy Gustawa Stenbocka. Zakonnicy poprosili załogę Gdańska o pomoc. Gdańscy żołnierze istotnie usunęli Szwedów z opactwa, ale zaraz sami wzięli się za plądrowanie i demolowanie klasztoru. Wojna ze Szwedami zakończyła się rokowaniami w Oliwie; prowadzone w opactwie zakończyły się podpisaniem traktatu pokojowego 3 maja 1660 roku. W czasie rokowań dwór królewski zamieszkiwał w Gdańsku, Szwedzi rozlokowali się w Sopocie, a w klasztorze rezydowali francuscy rozjemcy.