בספטמבר 1914 מונה פון קרלוביץ למפקד קורפוס המילואים ה-27 שהיה חלק מהארמייה הרביעית ולחם בקרב איפר הראשון. בסוף אוקטובר נאלץ פון קרלוביץ לפרוש מתפקידו עקב התקף לב. ב-30 בנובמבר מונה פון קרלוביץ למפקד דיוויזיית המילואים ה-12, וב-24 באוגוסט 1915 מונה למפקד קורפוס המילואים ה-3, ופיקד עליו בבלימת מתקפת אגם נארוץ' באביב 1916. ב-8 באוגוסט 1917 מונה למפקד הקורפוס ה-19 ופיקד עליו במהלך קרב איפר הרביעי במסגרת מתקפת האביב. ב-6 באוגוסט 1918 מונה פון קרלוביץ למפקד הארמייה התשיעית במקום גנרל פריץ פון בלוב שפרש מהפיקוד על הארמייה עקב מחלתו, ופיקד על הארמייה עד לפירוקה ב-18 בספטמבר 1918. ב-22 בספטמבר 1918 מונה פון קרלוביץ למפקד הארמייה השנייה במקום גנרל גאורג פון דר מרוויץ שעבר לפקד על הארמייה החמישית, ופיקד על הארמייה עד לסיום המלחמה.