Вадим Анатольевич был женат на Марине Панковой (Никулиной) — чемпионке Олимпийских игр 1988 года в Сеуле, чемпионке мира 1990 года, двукратной чемпионке Европы в составе сборной СССР по волейболу. Их дети также являются известными волейболистами: Екатерина Панкова — двукратная чемпионка Европы, а Павел Панков становился чемпионом мира и Европы с юношеской и молодёжными командами России.