בפרוץ המלחמה פיקד קלר על דיוויזיית האוויר ה-4, שהפכה ב-11 באוקטובר 1939 לקורפוס האוויר ה-4, והוביל אותה במהלך המערכה בפולין, המערכה בנורווגיה והמערכה על צרפת. ב-24 ביוני 1940 קיבל קלר את עיטור צלב האבירים של צלב הברזל, וב-19 ביולי 1940 הועלה לדרגת גנרל-אוברסט. ב-20 באוגוסט 1940 מונה קלר למפקד צי האוויר הראשון, ופיקד עליו במהלך הקרב על בריטניה, המערכה בבלקן, ובמבצע ברברוסה. ב-12 ביוני 1943 פרש קלר משירות פעיל, ומונה למפקד קורפוס התעופה הנציונל-סוציאליסטי, ובנוסף כיהן כמנהל אגף החימוש בלופטוואפה.