Gemmecke ble født i Düsseldorf som sønn av en kjøpmann. Han ble medlem av NSDAP og SS i perioden 1931–1932. Etter å ha blitt utdannet som bilmekaniker i 1926, arbeidet han som bilselger før han begynte sin karriere innen politiet. Han var en utdannet idrettsinstruktør og startet sin tjeneste i kriminalpolitiet i Düsseldorf fra mars 1934, hvor han arbeidet mot den illegale kommunistiske bevegelsen frem til 1940.