Victor Herbert ble født i Dublin i Irland av protestantiske foreldre, Edward Herbert (død 1861) og Fanny Herbert (født Lover). Hans far døde da Victor Herbert var bare to år gammel. Like etter tok moren med seg sønnen og flyttet til sine foreldre i London. Hans bestefar var den irske forfatteren og komponisten Samuel Lover. Loverfamilien hadde ofte besøk av musikere, skribenter og kunstnere i sitt hjem. Herbert flyttet til sin mor i Stuttgart i 1867, et år etter at hun hadde giftet for andre gang, med en tysk lege, Carl Schmidt fra Langenargen. I Stuttgart fikk han en sterk liberal utdanning ved Eberhard-Ludwigs-Gymnasium, hvor det også ble undervist i musikk.