Во время Шведского потопа, скорее всего, находился вместе с королём в Силезии. Прорывом в карьере Ольшовского стал 1658 года, когда он по инициативе королевы был отправлен в качестве депутата на избрание германского императора во Франкфурт-на-Майне, где подал жалобу на действия австрийских союзных войск, находящихся в Польше. Осенью 1659 года Анджей Ольшовский также был отправлен в Вену, где вел переговоры о выводе австрийских войск из Речи Посполитой.