עם סיום המלחמה ופיזורו של הצי הקיסרי, הצטרף קרלס אל הרייכסמרינה. באוקטובר 1928 הוא מונה לראש מחלקת ההדרכה של הצי, וב-27 בספטמבר 1932 מונה למפקד אוניית הקו "הסן". בדצמבר 1936 הוא מונה למפקד הצי (Flottenchef) - התפקיד השלישי במעלתו בצי הגרמני, המקביל למפקד צי הבית (Home Fleet) בצי הבריטי. במקביל, בספטמבר 1937, במהלך מלחמת האזרחים הספרדית, הוא פיקד על כוח אוניות גרמניות מול חופי ספרד. בנובמבר 1938 הועבר התפקיד של מפקד הצי להרמן בהם, וקרלס מונה למפקד בסיס הצי הים הבלטי. בעקבות פרישתו של קונרד אלברכט ב-1939, ירש אותו קרלס כמפקד קבוצת הצי מזרח. הוא השתתף בתכנון מבצע וסריבונג - הפלישה לנורווגיה, ובאוגוסט 1940 הופקד גם על הניהול המבצעי של כוחות הצי הגרמניים בדנמרק. בסתיו 1941 פיקד על כוחות הצי שהשתתפו במבצע ברברוסה וכבשו את האיים הבלטיים.