Winterfeld/Gilbert ble født inn i en musikerfamilie i Hamburg. Hans forfedre var kantorer i det jødiske samfunn. Hans onkel Bernhard Dessau var konsertmester for Kgl. Preußischen Hofkapelle og hans fetter Paul Dessau ble en kjent komponist og dirigent.