再編成の後、第4装甲師団はレオ・ガイヤー・フォン・シュヴェッペンブルク将軍率いる第24装甲軍団の一部として東プロイセン・ブレスト＝リトフスクに移動した。1941年6月22日、バルバロッサ作戦が始まる。初日のうちに師団はソ連領深くに進出し、前線から65km後方のまで到達した。その後ミンスクの戦いには第24装甲軍団は参加せずグデーリアンの第2装甲集団の右翼としてボビリスクへ第3装甲師団と共に進撃した。スモレンスク戦においては南翼を形成し、キエフの戦いでは第3装甲師団と共にグデーリアン集団軍の先鋒として進撃し、南方軍集団と連結して包囲網を完成させた。