В 1659 году стал совершенным киевским полковником и претендовал на пост гетмана. В 1660 году принимал участие в походе Василия Шереметева на Львов. В Чудновской битве попал в плен к татарам, где пробыл два года. Позже Василий Фёдорович вспоминал: "«А Василый Дворецкий а полком своїм Киевским заедно з Москвою будучи в осаді осм недель и два дни, ден и ноч биючися, аж всіх заедно ляхи и орда в полон взяли. Князя Григория Афанасовича Козловского и князя Щербатова и Акинфина, и Дворецкого Василия Феодоровича до короля их побрано до Кракова и отвезено ноемврия третьего дня»".