Steinberg comenzó como segundo violinista en la Orquesta de Colonia para poco después ser nombrado por su maestro titular, Otto Klemperer director asistente — sin sueldo alguno — hasta que en 1924 fue promocionado como principal director de la Orquesta de Colonia.