Siegfried Karg var yngstemann av en søskenflokk på tolv; faren var bokhandleren (eller kanskje avisredaktør?) Johann Jacob Karg, og moren var Marie Auguste Karg, født Ehlert (). Familien slo seg ned i Leipzig i 1882, der Siegfried fikk sin første musikkundervisning og private pianotimer. Han presenterte sine første forsøk på komposisjon under en samling av komponister, og komponisten Emil von Reznicek fikk ordnet med et treårig gratisstudium for ham ved Leipzigkonservatoriet (). Slik fikk han anledning til å studere med Salomon Jadassohn, Carl Reinecke, Alfred Reisenauer og Robert Teichmüller.