С XVI века Волковыск вошёл в состав Речи Посполитой. В начале XVII столетия инвентарь Волковысского староства составлял известный поэт Ян Казимир Пашкевич (ум. 1635 или 1636), который работал в казначействе ВКЛ. Середина столетия вошла в историю под названием «Кровавый потоп». В 1654 году около Волковыска произошла битва объединённого войска ВКЛ и Польши со шведами, город был занят войсками Карла X. Во время войны России с Речью Посполитой (1654—1667) город был дважды захвачен русскими войсками и сильно разрушен (1655 и 1662) . Административным центром города был замок на реке Волковыя недалеко от дороги на Изабелин. К концу XVIII века в городе насчитывалось только 362 дома, где проживало 2127 человек.