לאחר הפלישה הנאצית לברית המועצות יחד עם יחידתו נטל חלק בקרבות באזור לוצק - דובנו. בתום הקרבות ולאחר האבדות הקשות שספגה הדיוויזיה, בה הוא שירת, היא פורקה ועל בסיסה הוקמה חטיבת שריון מס' 31. רבינוביץ' מונה לראש המטה של החטיבה. יחד איתה נטל חלק בקרבות להגנת מוסקבה. באפריל 1942 מונה לראש אגף המבצעים במטה קורפוס משוריין ה-4. ביולי של אותה שנה מונה למפקד חטיבה משוריינת מס' 47. בספטמבר 1942 נפצע קשה במהלך קרב סטלינגרד. אושפז לתקופה ארוכה בבית חולים.