Schwarzenbeck jugó hasta la edad de 13 años en el Sportfreunde Munich, antes de mudarse en 1961 al departamento juvenil del Bayern Múnich, estando activo allí durante cinco años.