Karl Straube var sønn av en tysk far og engelsk mor. Han fikk sin første musikalske utdannelse av sin far som var instrumentmaker og organist i Heilig Kreuz Kirche i Kreuzberg i Berlin. Deretter bygget han seg opp som autodidakt, og tok aldri noen akademisk utdannelse.