Bis 1933 lehrte er als Privatdozent an der Katholisch-theologischen Fakultät der Universität Breslau, dann wurde ihm von den Nationalsozialisten die venia legendi entzogen, da seine Mutter jüdischer Abstammung war. Im Oktober 1933 ging er erneut nach Rom. 1936 berief ihn Kardinal Bertram zum Bistumsarchivar, die volle Einsetzung in dieses Amt wurde jedoch von der Regierung verhindert. Nach seiner vorübergehenden Verhaftung nach der Reichspogromnacht 1938 plante Jedin, nach Rom zurückzukehren, was ihm jedoch erst ein Jahr später möglich wurde. Dort widmete er sich, gefördert von Kardinal Giovanni Mercati, der Arbeit an der Geschichte und an der Edition der Akten des Konzils von Trient. Während seiner römischen Jahre stand er in enger Verbindung mit den ebenfalls aus Deutschland stammenden Kirchenhistorikern Karl August Fink, Hermann Hoberg und Friedrich Kempf. Als die Wehrmacht 1943/44 Rom besetzte, konnte Jedin den Vatikan nicht verlassen.