Fils du comte polonais et de Marie Zelinne Larramat, il passa sa prime enfance dans un milieu musical remarquable. Son père, maréchal et héros de la Révolution polonaise de 1830 - 1831 contre la Russie, s'était réfugié dans la France de Louis Philippe d'Orléans et s'était installé à Tarbes, où il enseignait le violon, après un bref séjour parisien. C'est là que naquirent ses trois enfants, Maurice, Victor et Françoise qui se consacreront tous à la musique. En 1857, à dix ans, le petit Victor déménage avec sa famille à Bordeaux, où son père occupera la chaire de violon du Conservatoire. Victor y commencera des études au lycée, en vue d'une carrière militaire.