Kvist var sønn av Anna Nilssen (1853–1942) og Vilhelm Andreas Wexelsen (1849–1909) som var biskop i Nidaros bispedømme. Søstera Anna Beate (1875–1954) ble mor til Karl Evang og Wilhelm Evang.