Владимир Вильховский родился 29 июля 1927 года в селе Екатеринополь (Шевченковский округ) в семье военного. В раннем детстве потерял отца, погибшего при подавлении басмаческого движения в Средней Азии. С четырёх лет рос в городе Сталино (ныне Донецк).