Ab 1935 unterhielt er Kontakte zu Mitarbeitern des sowjetischen Nachrichtendienstes NKGB, der ihn ohne sein Wissen unter dem Decknamen "Korsikanez" (Korse) führte. 1936 nahm er über seine Frau Mildred Kontakt zur US-amerikanischen Botschaft auf, um vor der von Deutschland ausgehenden Kriegsgefahr zu warnen. Der Kontakt mit Donald Heath, dem ersten Sekretär der amerikanischen Botschaft, war freundschaftlich und hielt bis 1941 an. Heaths Auftrag war, Kontakte mit dem deutschen Untergrund zu pflegen, um Henry Morgenthau und Franklin D. Roosevelt über Gefahren, die von Hitler ausgehen könnten, zu informieren. Zur Tarnung seiner illegalen Aktivitäten wurde Harnack 1937 Mitglied der NSDAP. 1939 nahm er Kontakt zu der Gruppe um Harro Schulze-Boysen auf, einen Luftwaffenleutnant, der Kontakte in alle Bevölkerungsschichten unterhielt. Dadurch entstand das von der Gestapo später als „Rote Kapelle“ verleumdete Widerstandsnetz. (In der Sprache der Gestapo war ein Spion, der Morsetasten drückte, ein "Pianist". Eine Gruppe von Pianisten war eine "Kapelle", und "rot" stand für Kommunismus. In Wahrheit folgte die Gruppe, in der politische Konservative, Juden und Katholiken ebenso wie Sozialdemokraten und Kommunisten Widerstand leisteten, in der sich 40 % Frauen ebenso wie Menschen aus allen Altersgruppen und Bevölkerungsschichten befanden, keinen ideologischen Dogmen.) Über Schulze-Boysen lernte Harnack 1940 die Kommunisten Hilde Rake und Hans Coppi kennen; ebenso arbeitete er mit dem Sozialdemokraten Adolf Grimme und anderen zusammen. 1941, in dem Jahr, in dem die Amerikaner Berlin verlassen mussten, wurde Harnack von Alexander Michailowitsch Korotkow, dem Repräsentanten des NKGB, kontaktiert. Widerstrebend, da er Stalin nicht traute, erklärte er sich bereit, auch die Sowjets über den bevorstehenden deutschen Krieg gegen die Sowjetunion und mit Hitlers Kriegsvorbereitungen verbundene wirtschaftliche und militärische Sachverhalte zu informieren.