Vallet var hugenott og flyktet fra Frankrike til Nederland. I Amsterdam arbeidet han som selvstendig musiker, luttlærer og drev sin egen danseskole.