Сын В. И. Качалова и Н. Н. Литовцевой. Вырос в театральной среде, в доме родителей часто гостили (иногда жили по два-три месяца) провинциальные актёры, некоторые из них раньше бывшие в МХТ: Д. А. Шенберг-Дмитриев (брат А. А. Санина, по первой профессии — врач-акушер и принимавший при появлении на свет Вадима), В. П. Веригина и др., бывали режиссёр Сулержицкий, писатель Максим Горький. Во время событий 1905 года в Москве сам Вадим около двух недель прожил в квартире К. С. Станиславского.