Victor Sparre var sønn av sjefsbibliotekar ved Bergen Offentlige Bibliotek, Victor Smith (født i 1887, død 23. august 1936) og hustru, kunstneren Eli Sparre Smith. Victor Sparre het i utgangspunktet Victor Smith og var i en stor del av karrièren kjent under dette navnet, men valgte å bytte til morens pikenavn, Sparre, i 1971.