# Heinz Gräfe

Otto Paul Heinz Gräfe (* 15. Juli 1908 in Leipzig; † 25. Januar 1944 bei einem Autounfall bei Bad Tölz) war als Oberregierungsrat und SS-Obersturmbannführer Leiter der Ostaufklärung beim Auslands-Geheimdienst des Sicherheitsdienst des Reichsführers SS im Reichssicherheitshauptamt sowie Führer des Einsatzkommandos 1 der Einsatzgruppe V der Einsatzgruppen der Sicherheitspolizei im deutsch besetzten Polen.

## Herkunft, Schule und Studium

Heinz Gräfe wurde am 15. Juli 1908 in Leipzig geboren und hatte zwei Geschwister. Sein Vater Paul Gräfe war Buchhändler in der von dessen Vater Emil Gräfe 1884 gegründeten Buchhandlung. Paul Gräfe fiel im November 1914 an der Westfront in Flandern. Seine Mutter, die nicht erneut heiratete, arbeitete nach dem Krieg als Postsekretärin.
Ab 1915 besuchte Heinz Gräfe das Realgymnasium in Leipzig, das er als Jahrgangsbester 1928 mit dem Abitur verließ. Mit einem Stipendium der Studienstiftung des Deutschen Volkes finanzierte er sein Jurastudium an der Universität Leipzig. Dort engagierte er sich als Vorstandsmitglied der Studentenschaft.
Am 31. August 1929 lernte er auf einer Geburtstagsfeier seine künftige Frau kennen. Diese stammte aus einer bürgerlichen Kaufmannsfamilie, machte 1930 Abitur und begann im Herbst des gleichen Jahres eine Ausbildung als Bibliothekarin. Am 31. August 1932 fand die Verlobung statt.
In der Gräfeschen Wohnung traf sich ein Freundeskreis von fünf jungen Studenten, die im Studentenwerk tätig waren und sich den Namen Schwarze Hand gaben. Auch gesellschaftliche und politische Themen bestimmten die Interessen dieses Zirkels. 1928 unternahm Gräfe eine Fahrt nach Kärnten und in die Steiermark. Weiters bereiste er Slowenien um volksdeutsche Siedlungen zu besuchen. Im April 1929 organisierte er eine 14-tägige Tagung in Miltenberg, mit dem Soziologen Hans Freyer (1887–1969) als einem der Referenten. Themen waren Begriffe wie Volk, Staat, Demokratie und Parlamentarismus. 1930 fand wiederum eine Tagung, diesmal in Wertheim, statt, an der der Soziologe Gunther Ipsen (1899–1984) über das Thema Kapitalismus und moderne Gesellschaftsordnung mit den Studenten diskutierte. Unter den studentischen Teilnehmern befanden sich mehrere Kommilitonen, denen Gräfe später in maßgeblichen Funktionsstellungen im Reichssicherheitshauptamt (RSHA) wieder begegnen sollte; so Wilhelm Spengler, der spätere Leiter der Gruppe C (Kultur) im Amt III des SD-Inland, und Erhard Mäding, der ab 1942 als Referent für Landschaftsplanung beim Reichskommissar für die Festigung deutschen Volkstums am Generalplan Ost mitarbeitete und 1944 schließlich nach dem Tode von Heinz Gräfe Leiter des Referats III A 3 (Verfassung und Verwaltung) im RSHA wurde.
Vom Nationalsozialistischen Deutschen Studentenbund (NSDStB) wurde die Wertheimer Tagung als Geldverschwendung kritisiert. Der Zwist zwischen dem NSDStB und der Schwarzen Hand wirkte sich für Gräfe bis 1938 und 1943 in seiner Beurteilung durch den SD-Oberabschnitt Nord-Ost aus, in der er „als Intellektueller mit einer ausgesprochenen pazifistischen Richtung“ und als Gegner des Nationalsozialismus vor der „Machtübernahme“ bezeichnet wurde.

## Beim Sicherheitsdienst (SD) 1933 bis 1935

Nach der „Machtergreifung“ Hitlers trat Gräfe dem NS-Juristenbund bei, jedoch vorerst noch nicht der Partei, sondern der Studentengruppe des Stahlhelms in Leipzig. Auch dies wurde vor seiner Übernahme in den Probedienst der preußischen inneren Verwaltung kritisch vermerkt. Als der „Stahlhelm“ im Herbst 1933 im Rahmen der Gleichschaltung in die SA bzw. SS überführt wurde, war Gräfe bei den neuen Machthabern angelangt und musste eine Entscheidung treffen. Trotz seiner Gegnerschaft zum NSDStB an der Leipziger Universität konnte er sich inhaltlich mit dem Programm der NSDAP weitgehend identifizieren, auch wenn er gewisse von ihm als plebejisch bezeichnete Erscheinungen der NS-Bewegung ablehnte.
Durch Vermittlung von Erhard Mäding, der mit Gräfe 1933 sein Referendariat am Amtsgericht Pirna ableistete und später sein Schwager wurde, gelangte Gräfe Ende 1933 nach einem persönlichen Gespräch mit Reinhard Heydrich in Jena als ehrenamtlicher Angehöriger (SS-Nummer 107 213) zum Sicherheitsdienst des Reichsführers SS (SD), dem Nachrichtendienst der Partei. Die kleine und als elitär geltende NS-Organisation erschien als geeignetes Vehikel für eine politische Karriere unter den sich abzeichnenden Zukunftsaussichten. In seinem Lebenslauf schrieb Gräfe 1934, dass er dem SD „mit Leib und Seele“ angehöre. Hier trugen Gräfe und Mäding auf dem Gebiet der sog. Lebensgebietsarbeit, also der systematischen Beobachtung aller gesellschaftlichen Bereiche, zum Aufbau eines Informationsnetzes in Sachsen bei.

## Bei der Gestapo in Kiel und Tilsit 1936 bis 1940

Nach Ablegung des Assessorexamens im August 1934 mit der Note „Gut“ wurde Gräfe Ende 1935 der Staatspolizeistelle (Stapostelle) Kiel zugewiesen. Nach Ablauf eines neunmonatigen Probedienstes ernannte ihn Reinhard Heydrich aufgrund seiner „hervorragenden Fähigkeiten und Leistungen“ zum Vertreter des dortigen Leiters Hans-Ulrich Geschke. Zum 1. Mai 1937 trat er der NSDAP bei (Mitgliedsnummer 3.959.575). Nach Absolvierung des Wehrdienstes und Erstellung seiner Dissertation mit dem Titel Neue Grundlagen der öffentlichen Arbeitsvermittlung erfolgte seine Promotion zum Dr. jur. und die Übernahme in den preußischen Landesdienst als Regierungsassessor. Am 1. Oktober 1937 wurde er nach Tilsit versetzt. Im November 1937 übernahm er als Nachfolger von Walter Huppenkothen die dortige Stapostelle und damit zugleich den SD-Unterabschnitt Gumbinnen mit Sitz in Tilsit. Er war also sowohl für die Gestapo wie auch für den SD tätig.
Im November 1938 wurde Gräfe zum Regierungsrat ernannt und im April 1939 zum SS-Sturmbannführer befördert. Im Personalbericht vom März 1939 von Gräfes Vorgesetzten, dem Inspekteur der Sicherheitspolizei (IdS) Nordosten und Führer des SD-Oberabschnittes Nordosten, SS-Brigadeführer Jakob Sporrenberg, wurden immer noch Vorbehalte hinsichtlich seiner nationalsozialistischen Überzeugung geäußert. Danach wolle Gräfe „unbedingt als NS gelten, sei aber vielleicht innerlich noch nicht restlos überzeugt“. Seine fachlichen Leistungen wurden zwar voll anerkannt, jedoch wurde mehr nationalsozialistische und SS-mäßige Haltung eingefordert.
Ab Juni 1938 mussten alle politischen Geheimdienst-Aktivitäten des SD im Ausland vom Amt III/3 des SD-Hauptamtes genehmigt werden, wie der in der Verwaltung des SD-Hauptamtes tätige Walter Schellenberg am 18. Juni 1938 im Auftrag von Heydrich an alle SD-Stellen übermittelte. Für die Datensammlung an der Ostgrenze des Reiches waren jetzt drei sogenannte Blockstellen in Tilsit, Hof und Wien zuständig. Die Blockstelle in Tilsit unter Dr. Heinz Gräfe hatte das Zielgebiet Baltikum, wobei hauptsächlich Litauen und das Memelgebiet im Blickpunkt lagen. In Tilsit hatte Gräfe die Betreuung litauischer Agenten übernommen. Sein Stellvertreter bei der Gestapo war der SS-Obersturmführer Hartmut Pulmer. Gräfe zur Seite stand der mit ihm befreundete Hans Schindowski, der nicht nur für den SD arbeitete, sondern zugleich auch Stadtkämmerer in Gumbinnen und ab Februar 1938 als besoldeter Bürgermeister für die Finanzen der Stadt Tilsit zuständig war. Der SD in Tilsit betrieben ein Netz von Informanten in Litauen, zu dem u. a. die Volksdeutschen Martin Kurmis, Richard Kossmann und Richard Schweizer gehörten. Richard Schweizer war er seit 1930 im deutschen Kulturverband in Litauen tätig. Leiter des Kulturverbandes war Richard Kossmann. Kossmann und Schweizer waren die wichtigsten deutschen Agenten im Kulturverband. Gräfe war in Tilsit in die Bemühungen der Volksdeutschen Mittelstelle eingebunden, die Abtrennung des Memelgebietes von Litauen und dessen Anschluss an Deutschland vorzubereiten.
Bei den Anstrengungen zur Rückführung des durch den Versailler Vertrag von Deutschland abgetrennten und 1923 von Litauen besetzten Memellandes leistete Gräfe Hilfe, so dass Litauen am 22. März 1939, zwei Tage nach dem deutschen Ultimatum, das Memelland an das Deutsche Reich zurückgab. In Tilsit nahm er Kontakte zur litauischen Sicherheitspolizei auf bzw. nach der sowjetischen Besetzung Litauens im Herbst 1939 zur antikommunistischen Untergrundbewegung. Heinz Gräfe hatte indes schon zuvor gute Kontakte zur litauischen Sicherheitspolizei gehabt, wie er in einem später verfassten Schreiben skizzierte:
   „Die Staatspolizei und der SD-Abschnitt Tilsit haben schon seit 1938 eine gewisse Zusammenarbeit mit der litauischen Staatssicherheitspolizei gepflegt. Größeren Umfang nahm sie jedoch erst nach der Rückgabe des Memelgebietes an.“
Walter Schellenberg benannte Gräfe Anfang Februar 1940 zum Hauptbevollmächtigten des Amtes VI (SD-Ausland) für das Baltikum. Danach liefen über Gräfe Verbindungen in die Kreise der Führung der litauischen Sicherheitspolizei unter Augustinas Poviláitis und Oberst Povilas Meškáuskas. Litauens Präsident Antanas Smetona hatte nach dem Fall Polens inzwischen erkannt, dass sein Land zwischen die Fronten zweier Großmächte geraten war. Er war an einer Protektion durch das Deutsche Reich gegenüber der Sowjetunion interessiert, was ihm als kleineres Übel erschien. Povilaitis und Meškáuskas trafen sich am 19. und 20. Februar 1940 mit der Führung des RSHA in Berlin, wie der erhalten gebliebene Tischkalender von Werner Best vom RSHA belegt. Gräfe war einer der Teilnehmer. Danach reiste Gräfe im März nach Kaunas. Ziel war es, über Litauen Agenten des SD in die Sowjetunion zu schleusen. Diese deutschen Agenten in den litauischen Behörden flüchteten jedoch nach dem Einmarsch der Roten Armee in Litauen nach Deutschland. Außerdem erhielt Gräfe Informationen zu polnischen und britischen Agenten im Raum Wilna. Augustinas Poviláitis gab beim Verhör durch das NKWD am 1. Oktober 1940 an:
   „Im März dieses Jahres wurden auf meine Anordnung […] 30 festgenommene Mitglieder polnischer nationalistischer Organisationen an den Vertreter der Gestapo, Heinz Gräfe, ausgeliefert […] Ihre Auslieferung an die Deutschen hatte ich mit dem Innenminister Kazys Skučas ausgemacht.“
Infolge des anstehenden Westfeldzugs der Deutschen kam im Frühjahr für Litauen und das Baltikum aber keine weitere Unterstützung durch Hitler in Frage, der sich zunächst noch nicht mit der Sowjetunion anlegen wollte.
Mit seinem erfolgreichen Einsatz gegen Litauen gehörte Gräfe zu den Begründern der Auslandsaufklärung von Sipo und SD im Baltikum. Gräfe nutzte die deutsche Volkstumsbewegung in den baltischen Ländern. Nach dem Abzug der letzten deutschen Umsiedler aus dem Baltikum begann die Rote Armee die baltischen Länder im Juni 1940 zu besetzen. Danach trat Litauen im August der Sowjetunion bei. Für Heinz Gräfe war damit das Ende seiner Mission in Tilsit gekommen. Gräfes Doppelfunktion wurde wieder aufgeteilt. Die Stapo-Stelle Tilsit übernahm im Oktober 1940 Hans-Joachim Böhme. Den SD-Abschnitt Tilsit/Gumbinnen führte vertretungsweise Heinz Unglaube, ehe offiziell Hauptsturmführer Werner Hersmann im März 1941 den SD-Abschnitt übernahm.
In der Person von Heinz Gräfe manifestiert sich besonders deutlich eine Systematik, die typisch für die Geheimdienstarbeit der SS ist, nämlich der Dualismus zwischen Sipo und SD. Der SD war das beobachtende Organ, die Sipo war für die Strafverfolgung zuständig. Die Sipo bestand aus Kripo und Gestapo und im Fall der Bearbeitung der Erkenntnisse des SD war in erster Linie die Gestapo das ermittelnde Organ. Während seiner Zeit in Tilsit hatte Gräfe beide Funktionen inne. In der Person Gräfe waren somit Exekutive und Geheimdienst vereint. Anders gesagt, Gräfe kümmerte sich für die Gestapo um den Schutz des NS-Staates während er für den SD den Schutz der NS-Ideologie verkörperte.

## Bei den Einsatzgruppen der Sicherheitspolizei in Polen 1939

Der Überfall auf Polen fiel mitten in die Tilsiter Zeit Gräfes. Gräfe wurde Führer des Einsatzkommandos 1/V im Rahmen der „Intelligenzaktion“ in Polen. Das etwa 120-köpfige Einsatzkommando 1 (EK 1) marschierte als Teil der Einsatzgruppe V nach deren Aufstellung bei Allenstein/Ostpreußen unter der Führung von SS-Standartenführer Ernst Damzog im Verband der zur Heeresgruppe Nord (Fedor von Bock) gehörenden 3. Armee des Generals Georg von Küchler in Polen ein, um dort polnische Führungskreise zu liquidieren. Am 7. September 1939 meldete Gräfe, dass er für die 600-köpfige jüdische Gemeinde von Graudenz die Anlegung eines Personenverzeichnisses durch jüdische Bevollmächtigte angeordnet habe, um so die Abwanderung der noch verbliebenen Juden vorzubereiten und einen Auswanderungsfonds zu schaffen. Die männlichen Juden waren bereits aus Graudenz geflohen. Zwei beim Plündern ergriffene Polen wurden auf Weisung aus Berlin erschossen. Nach vier Wochen (am 28. September 1939) wurde Gräfe zum RSHA nach Berlin versetzt.
Zwischen September 1939 und Frühjahr 1940 liquidierten die Einsatzgruppen der Sicherheitspolizei 60.000 bis 80.000 Menschen in Polen. Ob und wie sehr Gräfes Teilkommando in Graudenz und Umgebung in weitere Gewaltexzesse verwickelt war, ist nicht bekannt. Die vorhandenen Unterlagen und die Untersuchungen namhafter Historiker geben dazu kaum Auskunft. Da auch in Polen keine umfänglichen Vorgänge zu Gräfes EK 1 bekannt sind, war Gräfes Kommando aller Wahrscheinlichkeit nach eher wenig an Liquidierungen beteiligt.

## Im Reichssicherheitshauptamt 1940 bis 1944

Gräfe wurde am 28. September 1940 ins Amt VI (Ausland-SD) des Reichssicherheitshauptamtes (RSHA) versetzt und am 1. April 1941 Leiter der Amtsgruppe VI C (Russisch-japanisches Einflussgebiet) im RSHA als Nachfolger von Obersturmbannführer Friedrich Vollheim.
Eine der ersten Aufgaben von Gräfe bei VI C war die Vorbereitung auf den Russland-Feldzug. In dessen Vorfeld fasste das RSHA die zur Bekämpfung der Gegner des Reiches vorgesehenen Mitglieder der Einsatzgruppen in Pretzsch und Bad Düben zusammen. Das waren jene Verbände der SS, die sich im Rahmen von Sonderaufgaben mit der Vernichtung von Juden, Kommunisten, der Intelligenz und anderer Gruppierungen in Russland kümmern sollten. Dieses Personal erhielt Unterricht u. a. von „Ostexperten“ wie Heinz Gräfe und dessen Freund Hans Schindowski, die beide bis 1940 Ostaufklärung aus Tilsit heraus betrieben hatten. Ziel des Unterrichts war die Verbesserung des Kenntnisstandes der Einsatzgruppen-Angehörigen über die Sowjetunion aus Sicht des SS-Auslandsnachrichtendienstes, wobei natürlich auch die Interessen des SD in Sachen Nachrichtengewinnung eine Rolle spielten. Heinz Gräfe hielt in Bad Schmiedeberg vor den dort versammelten Führern der Einsatzgruppen einen Vortrag über die Verhältnisse in der Sowjetunion aus Sicht des SD, während sein vormaliger Tilsiter Kollege Hans Schindowski hier speziell auf die baltischen Länder einging.
Den beiden Baltikum-Experten Gräfe und Schindowski ging es u. a. darum, mit Hilfe der SD-Angehörigen in der Einsatzgruppe A Vertrauensleute des SD in den lokalen Innenverwaltungen im Baltikum zu verankern. Sie sollten die Polizeiaufgaben von Sipo und SD im Besatzungsapparat unterstützen. Beteiligt an diesen Absichten war außerdem Obersturmbannführer im SD Peter Kleist, der sowohl für die Dienststelle Ribbentrop wie auch für das Ostministerium als Berater bei der Heeresgruppe Nord im Baltikum wirkte. Gräfe versuchte Ende Juni 1941 vergeblich, den litauischen General Rastikis, der nach der sowjetischen Besetzung des Baltikums nach Berlin emigrierte, für eine Kollaborationsregierung in Litauen zu gewinnen. Ebenso sollte der Rigaer Oberstleutnant Freimanis in Lettland mit Hilfe von Heinz Jost in eine verantwortliche Position gebracht werden. Doch auch das scheiterte am Widerstand anderer lettischer Politiker. Schindowski hingegen konnte zusammen mit Unterstützung von Gräfe und Werner Best den Esten Hjalmar Mäe zu einer Kooperation mit dem SD bewegen und als Leiter der estnischen Innenverwaltung etablieren.

## Unternehmen Zeppelin 1942 bis 1944

Im Herbst 1941 waren Leningrad und Moskau nach wie vor in sowjetischer Hand. Es hatte sich gezeigt, dass die Kenntnisse von Abwehr und SD über die Sowjetunion völlig unzureichend waren. Die vielen sowjetischen Kriegsgefangenen sollten Gräfe helfen, das Informationsdefizit des SD zu beheben. Zu dieser Zeit betrieb die Gestapo Einsatzgruppen in den Gefangenenlagern, die überwiegend Liquidierungen durchführten aber auch nach Informanten und Freiwilligen suchten.
Der selbst vormals zur Gestapo gehörende Heinz Gräfe wurde am 21. Oktober 1941 vom Amt VI zum Amt IV (Gestapo) des RSHA abgeordnet. Bereits am 25. Oktober 1941 dekretierte Gestapo-Chef Heinrich Müller, dass jetzt auch Angehörige des Amtes VI zu den bereits bestehenden Gestapo-Einsatzgruppen abgeordnet würden, die den Einsatzgruppenleitern während ihrer Tätigkeit in den Kriegsgefangenenlagern unterstellt wären. Es wäre ihre Aufgabe, Informationen über die Politik, ökonomische und kulturelle Bedingungen in den noch nicht besetzten russischen Gebieten durch Befragungen zu erfahren. Dafür besonders wertvolle Kriegsgefangene wären dem Amt VI zu überstellen.
Mit Zustimmung der Wehrmacht entsandte das Amt VI schließlich elf SD-Führer mit Dolmetschern in die Lager und ließ ausgewählte Gefangene befragen und rekrutieren. In dieser Situation entstand bei Gräfe die Idee, nicht nur Kriegsgefangene als Informanten zu nutzen, sondern besonders geeignete Gefangene als Agenten für die Aufklärung im sowjetischen Hinterland und eine politische Kriegsführung einzusetzen, wie Amtschef VI Walter Schellenberg später bestätigte.
Gräfe kopierte dabei die laufenden Bestrebungen der Abwehr II und des Reichsministeriums für die besetzten Ostgebiete (RmfdbO), die mit Hilfe von Ostwissenschaftlern und über die Führer osteuropäischer Exilgruppen Personal aus diesen Volksgruppen für Geheimoperationen herauszogen. Im Endeffekt waren die Pläne Gräfes nichts anderes als ein Plagiat dieser bereits angelaufenen Operationen von Abwehr II und Ostministerium. Die erste Vorlage Gräfes betraf deshalb das Wannsee-Institut des SD, dass von Gräfes Gruppe VI C operativ-fachlich geleitet wurde. Gräfe wollte sich „seine“ Ostwissenschaftler weiter sichern. Am 2. September 1941 legte Gräfe den „Plan eines nachrichtendienstlichen Forschungsdienstes“ vor. Im Kern lautete seine Argumentation, dass der Auslandsnachrichtendienst für die Arbeit gegen Russland wissenschaftliche Unterstützung unmittelbar benötige. Das Wannsee-Institut verblieb danach im Geschäftsbereich der Gruppe VI C und Gräfe hatte sein wichtigstes Ziel somit erst einmal erreicht.
Damit ergab sich eine engere Zusammenarbeit zwischen wissenschaftlicher Ostforschung und der geplanten politischen Kriegsführung gegen die Sowjetunion beim Auslands-SD, die Gegenstand der nächsten beiden Studien waren. Die erste Studie berief sich auf die Kriegsgefangenenbefragungen und entstand gegen Ende 1941. Überschrieben ist sie mit dem Titel „Die Widerstandskraft der Sowjet-Union und Möglichkeiten ihrer Zersetzung“. Eine zweite Denkschrift hatte Gräfe zum Jahreswechsel 1941/42 nach dem Muster der Abwehr II entwickelt und als „Plan einer Aktion für politische Zersetzungsversuche in der Sowjet-Union“ bezeichnet.
Heinz Gräfe listete darin die Hauptaufgabengebiete dieser bereits im Vorschlag als „Unternehmen Zeppelin“ bezeichneten Aktion auf. Das waren Nachrichtengewinnung, Propaganda durch Verbreitung nationaler, religiöser und sozialer Parolen, Auslösen von Revolten und einzelne Sabotageakte auch mittels politischer Attentate. Gräfe schlug vor, den „Führungsstab Zeppelin“ in der Gruppe VI C des RSHA zu platzieren und von hier die notwendigen Abstimmungsgespräche mit dem Oberkommando der Wehrmacht (OKW), dem Ostministerium und dem Propagandaministerium zu führen. Sein Unternehmen Zeppelin konnte nur im Verbund mit der Wehrmacht und diesen beiden Ministerien funktionieren. Die operativen Kräfte hingegen sollten an die Einsatzkommandos von Sipo und SD angebunden werden, die ohnehin in der Sowjetunion mit der Vernichtung von Bolschewisten, Juden und Partisanen befasst waren.
Das Vorhaben von Gräfe wurde Anfang 1942 von Hitler genehmigt. Der Initiator Gräfe wurde im März 1942 vom Amt IV zum Amt VI zurückversetzt und mit der Führung eines Sonderreferats in seiner Amtsgruppe VI C beauftragt, dessen Leitung er anfangs auch übernahm. Das Sonderreferat erhielt die Abkürzung VI C/Z, wobei das Z für „Zersetzung“ stand, dem Hauptziel des Unternehmens. Aus Gräfes früheren Arbeitsbereich in Tilsit gelangten etliche Vertraute zum Unternehmen Zeppelin, darunter Hans Schindowski, Martin Kurmis (1897–1944), Edwin Sakuth, Heinz Unglaube und später auch Richard Schweizer.
In enger Abstimmung mit dem Oberkommando der Wehrmacht wählten eigens dazu bestimmte SS-Führer der Einsatzgruppen der Sicherheitspolizei und des SD aus Kriegsgefangenen nichtrussischer Völkerschaften geeignete Freiwillige aus. Nach Ausbildung in Grund- und Spezialkursen wurden ab Juni 1942 bis Ende September 1942 insgesamt 104 Agenten eingesetzt, die vornehmlich als Fallschirmspringer über dem Kaukasus abgesetzt wurden. Die angewiesenen Zerstörungen von Hochspannungsleitungen, Verkehrswegen, Ölförderungsanlagen usw. waren jedoch ohne größeren technischen Aufwand nicht durchzuführen, so dass die Aktion nur mäßigen Erfolg aufwies. Gräfe übergab im Juli 1942 die Leitung des Sonderreferates VI C/Z an Dr. Rudolf Oebsger-Röder ab, das schließlich ab März 1943 von Walter Kurreck geleitet wurde. Am 18. Dezember 1942 nahm Gräfe an einer Besprechung im Ostministerium über die künftige Politik in den besetzten Ostgebieten teil und traf in dieser Runde u. a. auch mit den späteren Verschwörern des 20. Juli, Tresckow, Wagner, Schlabrendorff und Stauffenberg, zusammen. Hier teilte er ebenfalls die von den Militärs vorgetragene Kritik an der praktizierten Politik in den besetzten Ostgebieten, die alle Versuche, die antibolschewistischen Kräfte für die deutsche Sache zu gewinnen, scheitern lasse. Bewaffnete Kampf- bzw. Sicherungsverbände aus Bewohnern der besetzten Gebiete wurden jedoch von Hitler zum damaligen Zeitpunkt kategorisch abgelehnt.
Nach etlichen Fehlschlägen Ende 1942 sah sich Gräfe gezwungen, Zeppelin zu reorganisieren. Im Frühjahr entstanden die beiden Hauptkommandos Zeppelin Mitte und Süd. Mitte arbeitete überwiegend mit russischen Freiwilligen und wurde im Juni 1943 in Hauptkommando Nord umbenannt, Süd arbeitete mit Turkestanern und Kaukasiern. Mit Ende des Jahres 1943 verlor das „Unternehmen Zeppelin“ zunehmend an Bedeutung, wurde jedoch trotzdem bis 1945 organisatorisch aufrechterhalten.
Zeppelin war als Masseneinsatz konzipiert und sollte mit Hilfe der Propaganda die Moral der sowjetischen Truppen zersetzen, Rotarmisten zum Überlaufen bewegen und Aufstände gegen die sowjetische Regierung insbesondere bei den nichtrussischen Volksgruppen auslösen und so die Front entlasten. Keines dieser Ziele Gräfes wurde in größerem Umfang erreicht. Als Gruppenleiter RSHA VI C konzentrierte sich Gräfe zwar auf die Sowjetunion, hatte jedoch auch die Verantwortung für Operationen des Auslands-SD im Nahen Osten, Mittleren Osten und in der Kooperation mit dem japanischen Achsenpartner. Gräfe unternahm als Gruppenleiter Auslandsreisen nach Istanbul und Sofia und hatte dort Beauftragte des SD installiert.
Am 20. April 1943 war Gräfe zum Obersturmbannführer befördert worden. Gräfe erhielt weiterhin seine Verbindungen zum Oberkommando des Heeres und zum Ostministerium aufrecht und referierte noch am 19./20. Januar 1944 in Königsberg zum Thema „Nachrichtendienstliche Arbeit im Ostraum“. Eine Woche später verunglückte er zusammen mit dem Leiter der Amtsgruppe III A (Rechtsordnung) des RSHA, Karl Gengenbach, bei einem Autounfall in der Nähe der SS-Junkerschule in Bad Tölz tödlich. Nach dem Unfall führte SS-Sturmbannführer Erich Hengelhaupt die Arbeit von Gräfe fort. Gräfe wurde nach seinem Unfalltod noch posthum zum Standartenführer befördert.