Victor Sparres far hadde bibliotekfaglig utdannelse fra USA, og i 1914 ble han sjef for Deichmanske biblioteks filial på Grünerløkka. Da Victor Sparre var tre år gammel flyttet familien fra Lysaker til Bergen, fordi faren var blitt ansatt som sjefbibliotekar ved Bergen Offentlige Bibliotek. Faren skrev også teater- og litteraturanmeldelser for Morgenavisen, og var også tidvis konsertanmelder. På Deichmanske på Grünerløkka hadde han vært særlig engasjert i utviklingen av bibliotekets ungdomsavdeling, og i Bergen opprettet han landets første musikkavdeling ved et bibliotek.