במהלך מלחמת העולם השנייה נכבשה חרקוב במהלך קרב חרקוב הראשון בידי הנאצים ב-24 באוקטובר 1941 על ידי הארמייה השישית של גנרל ולטר פון רייכנאו. אוכלוסייתה פונתה ברובה לאסיה התיכונה. חרקוב שוחררה על ידי הצבא האדום ונכבשה עוד פעמיים על ידי הנאצים עד לשחרורה הסופי ב־23 באוגוסט 1943. 70% מבתי העיר נהרסו במהלך הקרבות, ועשרות אלפים מתושביה נהרגו. בסמוך לעיר נערך באביב 1942 קרב חרקוב השני, אחד הקרבות החשובים במלחמת העולם השנייה שבו הובס הצבא האדום ונפתחה הדרך לקווקז בפני הצבא הגרמני.