Po kampanii polskiej przerzucono Weizsäckera na granicę z Luksemburgiem. W trakcie działań na froncie zachodnim brał udział w przeszkoleniu w szkole oficerskiej. Podczas operacji Barbarossa walczył na terenach Związku Radzieckiego aż do bitwy o Moskwę. Tam jego jednostka została prawie całkowicie obrócona w proch. Wiosną 1942 przeniesiono go do Naczelnego Dowództwa Wojsk Lądowych jako ordynansa oficerskiego. Po awansie do stopnia porucznika pozostał aż do krótkiego momentu przed końcem wojny adiutantem pułkowym na froncie wschodnim, ostatnio w stopniu kapitana rezerwy. W marcu 1945 w Prusach Wschodnich został ranny, po czym przez Bałtyk przetransportowano go do ojczyzny, do ciotki mieszkającej w Lindau nad Jeziorem Bodeńskim.