В XVII веке, в результате Польско-шведской войны 1626—1629 годов, поселение было оккупировано шведской армией. 6 июля 1626 года король Швеции Густав II Адольф высадился у Пиллау с моря и вошёл в город. Пиллау был захвачен за три часа. Шведы заложили одну из главных достопримечательностей современного Балтийска — звездообразную пятиугольную крепость (цитадель Пиллау), сохранившуюся до наших дней. В 1635 году, после заключения перемирия Швеции с Речью Посполитой и Пруссией, эта крепость (тогда ещё недостроенная) была выкуплена жителями города за 10 тысяч талеров, а через год в Пиллау вошли бранденбургские войска.