המערכה המשמעותית הבאה בה נטל פאנצר סימן 4 חלק הייתה בצפון אפריקה ב-1941 כחלק מקורפוס אפריקה, שם הייתה לו השפעה מועטה מאוד על הלחימה, לפחות עד אשר הגיעו דגמי F2 עם הקנה הארוך ב-1942. אלה (אשר נקראו על ידי החיילים כ'פאנצר סימן 4 SPEZIAL', כלומר מיוחד) השתתפו לראשונה במבצע ונציה - מתקפת המנע של רומל כנגד הארמייה השמינית הבריטית בלוב במאי 1942. תותח ה-L/43 של הפאנצר סימן 4 F2 היה מסוגל לחדור את השריון החזיתי של כל הטנקים האמריקאים והבריטים בזירה ממרחק מרבי של 1,500 מטרים, ואף 2,000 מטרים כנגד טנקים קלים יותר. כ-37 טנקי F2 נוספים נשלחו לצפון אפריקה בין החודשים יולי-אוקטובר 1942, אולם מספר זה היה זעום לעומת 318 טנקי השרמן ו-426 מדגם לי/גרנט שעמדו לרשות הבריטים באוקטובר 1942.
החזית המזרחית (1941 - 1945).
עם הופעתם המפתיעה של טנקי T-34 ו-KV-1 הסובייטיים בעת הפלישה לברית המועצות ביוני 1941, התגלתה במלואה נחיתות כוח האש של הפאנצר סימן 4. הטנקים הסובייטיים היו חסינים כמעט לחלוטין מפני תותח ה-L/24 הקצר, בעוד תותחי ה-76.2 מ"מ שלהם לא התקשו לחדור את שריון הפאנצרים. מתוך 426 הטנקים מדגם זה שהיו לוורמאכט בחזית המזרחית ביום הפלישה, 378 הושמדו כבר לקראת סוף 1941. כאמור, כתוצאה מלקחי המערכה בברית המועצות פותח דגם חדש של הטנק, דגם F2, שצויד בתותח ה-KwK 40 L/43 ארוך הקנה. דגמי F2 נשלחו לראשונה במספרים קטנים לחזית המזרחית באביב 1942, ועם תחילת מתקפת הקיץ הגרמנית ב-28 ביוני 1942 עמדו לרשות קבוצת ארמיות דרום 135 טנקי F2 בלבד. באותה עת, היו אלו הטנקים היחידים בארסנל הגרמני שהיו מסוגלים להתמודד כנגד טנקי T-34 ו-KV הסובייטיים. תותח L/43 היה מסוגל לחדור עם פגז חודר שריון את השריון של T-34 ממרחק של 1,200 מטרים בכל זווית פגיעה.
פאנצר סימן 4 המשיך למלא תפקיד חשוב גם בקרבות של 1943 בחזית המזרחית, אף על פי שקצב הייצור שלו עדיין היה איטי מכדי להחליף את האבדות שנגרמו לכוחות השריון הגרמניים ב-1942. לקראת קרב קורסק ביולי 1943, היו בחזית המזרחית כ-950 טנקים מדגם זה, מתוכם 56 פאנצרים סימן 4 עם תותח L/24, 583 עם תותח L/43 ו-302 עם תותח L/48. מאחר שטנקי הטיגר החדישים היו מעטים למדי, וטנקי הפנתר סבלו מבעיות מכניות קשות, טנקי פאנצר סימן 4 מילאו תפקיד מרכזי במהלך המתקפה הגרמנית על בליטת קורסק. האבדות הקשות שספג הוורמאכט ב-1943 - 2,396 טנקי פאנצר סימן 4 בכל החזיתות, מרביתם בחזית המזרחית - גרמו לכך שבחלק מדיוויזיות הפאנצר הגרמניות נותרו רק 12 עד 18 טנקים מבצעיים מדגם זה. הפאנצר סימן 4 המשיך למלא תפקיד מרכזי בלחימת כוחות השריון הגרמניים בחזית המזרחית גם בשלבים המאוחרים של המלחמה, בהם התמודד, בין השאר, נגד טנקים סובייטיים מדגמים מתקדמים יותר, כגון ה- T34/85 וה-IS-2, וגרם להם אבדות כבדות.
החזית המערבית (1944 - 1945).
ב-10 יוני 1944, ארבעה ימים לאחר הפלישה לנורמנדי, היו זמינים 863 טנקי פאנצר סימן 4 ב-11 דיוויזיות הפאנצר שהוצבו במערב, קרוב למחצית כוח השריון של הצבא הגרמני בצרפת באותו זמן. במערכה בנורמנדי נמצאו אומנם הגרמנים בנחיתות מספרית גדולה מול כוחות השריון של בעלות הברית המערביות, אולם לגרמנים עמד היתרון בחימוש העדיף, לצד הקשיים שגרמה הלחימה באזור ה"בוקאז'" לכוחות בעלות הברית. באזור זה הצליחו הגרמנים - על אף העליונות האווירית של בעלות הברית - להסב אבדות כבדות ליריביהם, והשיגו לעיתים יחס אבדות של 4:1 לטובתם. מאידך, מרבית התקפות הנגד של הפאנצרים בבוקאז' הסתיימו בכישלון; עדיפות החימוש שלהם לא באה לידי ביטוי, הם היו פגיעים לירי מטולי בזוקה ותותחי נ"ט מטווח קרוב, וספגו אבדות כבדות מתקיפות מהאוויר ומהפגזות של תותחים כבדים.
במהלך החודשים הראשונים לאחר פלישת בעלות הברית לצרפת, מרבית טנקי השרמן האמריקאים (הטנק העיקרי של צבא ארצות הברית במהלך המלחמה) עדיין צוידו בתותח M3 בקוטר 75 מ"מ, אשר התקשה לחדור את שריון החזית של דגמי הפאנצר סימן 4 המאוחרים ממרחק העולה על 100 מטר. באותו זמן, דגמי הטנקים היחידים שיכלו להשמיד את הפאנצר סימן 4 מטווח ארוך, היו שרמן פיירפלי ("גחלילית") ומשחית הטנקים אכילס הבריטי, שניהם חמושים בתותח 17 ליטראות, ומשחית הטנקים M10 חמוש בתותח 76 מ"מ. ביולי 1944 החלו אומנם להיכנס לשירות הצבא האמריקאי טנקי שרמן חמושים בתותח 76 מ"מ, שהיה שווה בביצועיו ל-L/48, אולם בראשית ינואר 1945 היו עדיין רק כרבע מכלל השרמנים ששירתו בצבא האמריקני במערב אירופה מדגם זה.
עם תום המערכה בנורמנדי, דיוויזיות הפאנצר הפגועות שסבלו ממחסור תמידי בתגבורות ובכלי רכב חלופיים כותרו בכיס פאלז על ידי הכוחות האנגלו-אמריקאיים. טנקים רבים אבדו לאחר שהושמדו או ננטשו על ידי צוותיהם עקב מחסור בדלק. במתקפה הגדולה האחרונה של הגרמנים במערב בארדנים בדצמבר 1944, היה הפאנצר סימן 4 הטנק הנפוץ ביותר בקרב דיוויזיות הפאנצר המדולדלות; עם תחילת המתקפה ב-16 בדצמבר היו לכוח הגרמני התוקף 349 טנקים מבצעיים מדגם זה. לאחר כישלון המתקפה בארדנים המשיך הטנק לשרת במספרים קטנים יותר בחזית המערבית.
שירות בצבאות זרים.
טנקי פאנצר סימן 4 סופקו לבעלות בריתה של גרמניה במהלך המלחמה בתמורה לחומרי גלם ולחיזוק הארסנל של מדינות אלה. הונגריה רכשה 22 טנקי פאנצר סימן 4 דגם F1 עם תותח ה-L/24 ב-1942. אלה סווגו כטנקים כבדים והשתתפו בקרבות ברוסיה תחת הדיוויזיה המשוריינת הראשונה. בספטמבר 1942 נשלחו להונגריה 10 טנקים עם תותח ה-L/43, בנוסף ל-10 פאנצר 3 וחמישה משחיתי טנקים מסוג מרדר 2 . ב-1944, בניסיון לתגבר את הצבא ההונגרי המוכה, נשלחו עוד כ-50 דגמי H ו-J.
רומניה קיבלה 127 פאנצר סימן 4 בין החודשים נובמבר 1943 לאוגוסט 1944. 91 נמסרו לבולגריה במהלך המלחמה, מספיק כדי לצייד גדוד שלם עם ארבע פלוגות בנות 22 פאנצר סימן 4 כל אחת. 20 פאנצר סימן 4 F1 וחמישה מדגם H נשלחו לקרואטיה בסתיו 1944; אלה לקחו חלק בקרבות כנגד הסובייטים והבולגרים בקרואטיה ב-1945. 15 טנקים מדגם G נמכרו לטורקיה ו-20 מדגם H ניתנו במתנה לספרד.
כחלק מהסכם ריטי-ריבנטרופ, הפינים רכשו מגרמניה 15 פאנצר סימן 4 דגם J בסכום של 5 מיליון מארק פיני ליחידה באוגוסט 1944, כחודש בלבד לפני שחתמו הפינים על הסכם שביתת נשק עם הסובייטים ובה התחייבו לגרש את הכוחות הגרמנים מפינלנד, דבר שהביא לקרבות המכונים מלחמת לפלנד. ב-1949–1950 הוסבו מספר מהם לרכבי פינוי מוקשים לא מוצלחים ומ-1951 עד 1962 שימשו הטנקים למטרות אימונים. הפאנצר סימן 4 לא היו פופולריים במיוחד בצבא הפיני עקב בעיות במתלים ובהיגוי.
טנקי פאנצר סימן 4 שנפלו שלל בידי הצבא האדום במהלך המלחמה סווגו תחת השם T-4. חלק קטן מהם הופעלו נגד הנאצים, אחרים שימשו לאימונים. מאחר שכלים רבים כל כך נתפסו, עלתה סוגיית חימושם מחדש (וכך גם טנקים גרמנים אחרים שנפלו שלל) בתותחי טנקים סובייטים כדי לפתור את בעיית המחסור בתחמושת, אולם מאוחר יותר הפרויקט נזנח. לאחר מלחמת העולם השנייה הועברו על ידי ברית המועצות כ-170 טנקים מהדגם הזה לצבא צ'כוסלובקיה, שם שירתו עד אמצע שנות ה-50 והוחלפו על ידי טנקי T-34.
בתחילת שנות ה-50 של המאה ה-20 רכשה סוריה כמה עשרות טנקים כאלה מצרפת, מספרד ומצ'כוסלובקיה (המספר המדויק איננו ידוע). קציני הוורמאכט לשעבר נשכרו על ידי הסורים כדי ללמדם על אופן השימוש בטנקים. השינוי היחיד שבוצע בטנק היה התקנתו של מקלע סובייטי כבד מדגם DShK בקוטר 12.7 מ"מ על צריחון המפקד. הסורים הפעילו את הטנקים מעמדות ירי קבועות במלחמה על המים בשנים 1964–1965, בה הושמדו מרביתם על ידי טנקי צנטוריון ישראלים מטווחים ארוכים. טנקי פאנצר סימן 4 הנותרים השתתפו במלחמת ששת הימים שם הושמדו על ידי טנקי סופר-שרמן ישראלים או נתפסו על ידי חיילי צה"ל. אחד מהם, שנפל שלל בידי צה"ל, מוצג כיום במוזיאון "יד לשריון" בלטרון.
כלי רכב משוריינים על בסיס הפאנצר סימן 4.
שלדת הפאנצר 4 שהוכחה כאמינה והייתה זמינה במספרים גדולים שימשה כבסיס לייצור כלי רכב משוריינים שונים; רבים מכלים אלו היו בשירות הכוחות הגרמנים עד סיומה של המלחמה. שני סוגים של משחיתי טנקים נבנו על שלדת הפאנצר 4 בין השנים 1943–1945: השטוג סימן 4 החמוש בתותח 75 מ"מ L/48, ממנו נבנו 1,139 יחידות, והיאגדפנצר 4 ממנו יוצרו קרוב ל-2,000 יחידות. משחיתי טנקים אלו נעדרו צריח מסתובב, וגזרת הירי של החימוש העיקרי הייתה לרוב בת כמה מעלות צידוד בלבד. למרות חסרונותיהם, היו למשחיתי הטנקים מעלה בולטת אחת: הם היו פחות מורכבים מטנק, והיה קל יותר לייצרם; אם כי ייצורם בקנה מידה רחב הסיט בהכרח חלק מכושר ייצור טנקים. מעל לכול, סימן משחית הטנקים את השינוי בחשיבה הגרמנית אודות הטנקים; זה היה נשק הגנתי ביסודו, שתפעולו המועדף היה במארב או בעמדות קבועות למחצה, ותאם את קרבות המגננה בשנים המאוחרות יותר של המלחמה.