Ab Juni 1940 war Knochen "Beauftragter des Chefs der Sicherheitspolizei und des SD" in Paris, wo er mit einigen Mitarbeitern gegen Juden und Kommunisten vorging. Bereit Anfang 1941 kehrte er nach Berlin zurück und übernahm im Reichssicherheitshauptamt in der Amtsgruppe VI (Auslandsnachrichtendienst) die Leitung des Bereiches Erkundung weltanschaulicher Gegner im Ausland (IV E). Ein Jahr später wurde er zum Befehlshaber der Sicherheitspolizei und des SD in Frankreich befördert und bekleidete diesen Posten bis zum September 1944. Zusammen mit seinem Vorgesetzten, dem Höheren SS- und Polizeiführer Carl Oberg, und seinem Stellvertreter, KdS (Kommandeur der Sicherheitspolizei) Kurt Lischka, setzte er in Paris die Deportationen französischer und ausländischer Juden in deutsche Vernichtungslager durch. Nach der Befreiung Frankreichs durch die Alliierten gehörte Knochen zur Leibstandarte SS Adolf Hitler.