Victor Alf Smith var sønn av Waldemar Carl Smith (1855–1904) og Valborg Alette (Janna) Gjerdrum (1862). Faren drev eget agentur. Etter å ha avlagt eksamen i statsøkonomi i 1909, dro Victor til USA for å få biblioteksutdannelse i Albany i staten New York. Han ble ved gjenkomsten i 1911 ansatt på Deichmanske bibliotek i Kristiania, og i 1914 leder for den nye filial på Schous plass på Grünerløkka, som han bygde opp til å bli en virkelig kulturinstitusjon i nærmiljøet. Her startet han diskusjonsklubber for ungdom, arrangerte konseter, holdt eventyrtimer, og opprettet barneteater.