В 1563 году назначен одним из трех воевод в Полоцк, где ведал "великими воротами". В 1564 году царь велел князю Петру Шуйскому идти на литовцев из Полоцка. Князь Василий Семёнович и его брат князь Пётр Семёнович должны были выдвинуться из Вязьмы и соединиться под Оршей. Из-за своей неосмотрительности князь Шуйский был разбит под Чашниками. Узнав о поражении, князья Серебряные отошли к Смоленску. Помогли полоцкому воеводе князю Петру Щенятеву отразить нападение на город Николая Радзивилла, а затем взяли Озерище (осень 1564).