Родился в семье Аркадия Николаевича и Александры Федоровны Трефиловых. Аркадий Николаевич был кадровым военным, воевал в Финскую войну, во время Великой Отечественной войны рвался на фронт, но был оставлен в тылу для подготовки кадровых офицеров. После войны отца В. А. Трефилова перевели служить в военную часть недалеко от Владивостока. На Дальнем Востоке В. А. Трефилов прожил до 12 лет. В 1955 году семья вернулась в г. Бор. В 1960 году отец В. А. Трефилова был уволен из армии в связи с хрущевской реформой армии и сокращением вооруженных сил. На Бору В. А. Трефилов окончил среднюю и музыкальную школу (последнюю — с отличием) по классу баяна. Учился в музыкальном училище в г. Горьком, не смог окончить его, так как был призван в армию, служил в Москве в Роте почетного караула (1961—1964). В армии серьезно увлекся спортом. Профессиональные занятия музыкой отложили отпечаток на всей жизни В. А. Трефилова: в 1960—1970-е гг. он работал аккомпаниатором в московском танцевальном коллективе «Колхида», летом работал в детских пионерских лагерях одновременно как музрук (музыкальный руководитель) и как физрук, аккомпанировал на баяне во время праздников в семье и на работе.