Doldinger ble født i Berlin og startet i 1947 på musikkonservatoriet i Düsseldorf, der han først studerte piano etterfulgt av klarinett med uteksaminering i 1957. Mens han studerte, fikk han verdifull erfaring i det tyske Dixieland-bandet , der han også var med på en plateinnspilling i 1955. Senere samme år dannet han bandet , sterkt basert på Oscar Petersons arbeid.