גוטברג נולד ב-11 בפברואר 1896 בעיר קניגסברג שבפרוסיה המזרחית, שהשתייכה אז לקיסרות הגרמנית. כיום העיר נמצאת בתחומי מחוז קלינינגרד השייך לרוסיה. משפחתו הייתה משפחת אצולה אשר מוצאה מפומרניה. עם פרוץ מלחמת העולם הראשונה באוגוסט 1914 התגייס לצבא הקיסרות הגרמנית כצוער. הוא נפצע מספר פעמים, ועוטר בשתי דרגות של צלב הברזל. את המלחמה הוא סיים בדרגת אובר-לויטננט. הוא שרת ברייכסווהר והוצב בבריגדת ארהארדט. באפריל 1920 הוא עזב את הרייכסווהר עקב פירוק הבריגדה. ב-1923 הוא השתתף בפוטש במרתף הבירה שהוביל אדולף היטלר. ב-1924 חזר לעיר הולדתו וסיים בה את ההכשרה החקלית שהחל בנעוריו. ב-1931 הוא הצטרף למפלגה הנאצית וקיבל את מספר החבר 948.753, ובפברואר 1932 הצטרף גם לאס אה בדרגת שטנדרטנפיהרר. בספטמבר של אותה שנה עבר לאס אס בדרגה נמוכה יותר של שארפיהרר, וקיבל את מספר החבר 45.923.