В ходе Русско-польская войны Ваверка была уничтожена, оказавшись в 1659 году на пути войска И. А. Хованского. После войны поселение было восстановлено, однако оно не смогло достичь прежних размеров и значения, оставаясь обычной деревней. В XVIII веке Ваверка несколько раз переходила из рук в руки.