עבודתו המשמעותית הראשונה עבור המפלגה הנאצית הייתה ב-1932, כשקרל האנקה, בכיר במטה המפלגה בברלין (שהיה ידידו של שפר והסתייע בשירותיו כאדריכל לשיפוץ הווילה הפרטית שלו בברלין) הזמינו לשפץ את המטה האזורי של המפלגה בברלין. בהמשך הוטל על שפר לשפץ גם את משרד התעמולה, בראשו עמד יוזף גבלס. גבלס התרשם מיכולתו של האדריכל הצעיר והמליץ עליו בפני היטלר, שעד אז העסיק את האדריכל פאול לודוויג טרוסט בשיפוץ לשכת הקנצלר בברלין; בהמשך שפר התבקש לסייע לטרוסט בעבודה זו. תרומתו החשובה של שפר לפרויקט הייתה הוספת מרפסת, ממנה יכול היה היטלר לעמוד ולנופף להמונים. היטלר, שראה את עצמו כאמן ומעין אדריכל, וסבר כי ייעודו האמיתי היה באמנות, חיבב את האדריכל הצעיר שגייס. שפר הפך לחבר בחוג הקרוב של היטלר והידידות בין השניים התחזקה, עד שלימים נהג לומר "אם היה להיטלר חבר, אני הוא האיש".
האדריכל הראשון של הרייך.
פאול טרוסט מת ב-1934 ושפר נבחר להחליפו כאדריכל הראשי של המפלגה. אחת מעבודותיו הראשונות, כנראה הידועה ביותר, היא 'שדה הצפלין' בנירנברג. האתר שימש כרקע למפגני מפלגה המוניים, הנראים בסרטיה של לני ריפנשטאהל. 'שדה הצפלין' התבסס על תכנון ארכיטקטוני דורי עתיק לפי מזבח פרגמון באנטוליה, שהוגדל מאוד כך שיכיל עד מאתיים וארבעים אלף איש. במפגן המפלגה ב-1934, אותו הנציחה לני ריפנשטאהל בסרט התעמולה הידוע "ניצחון הרצון", הקיף שפר את המבנה הענק במאה ושלושים זרקורים כנגד מטוסים, מה שיצר אפקט שכונה "קתדרלת הקרח", אליה נכנסו פעילי המפלגה כשהם אוחזים בדגלי המפלגה.
חזונו של היטלר לגבי נירנברג כלל הקמת מבנים נוספים, רבים מהם לא נבנו מעולם. כך למשל תוכנן אצטדיון שיוכל להכיל ארבע מאות אלף בני אדם במסגרת "המשחקים האריים", שנועדו להחליף את המשחקים האולימפיים. אגב תכנון מבנים אלו המציא שפר את תאוריית "ערך השרידים", לפיה יש לתכנן מבנה תוך התחשבות בשאלה כיצד ייראה לאחר תקופת "הרייך בן אלף השנים" (כפי שנראים כיום מבנים מהעת העתיקה של יוון ורומא) כעדות לגדולת העבר. תאוריה זו התקבלה בהתלהבות על ידי היטלר. עם זאת, אף אחד מן המבנים שהצליח שפר לבנות (רבים נותרו בשלבי תכנון בלבד), לא שרד אף לא את תקופת תריסר שנותיו של "הרייך השלישי".
ב-1937 תכנן שפר את הביתן הגרמני במסגרת התערוכה העולמית של פריז. עבודתו של שפר מוקמה בדיוק ממול הביתן של ברית המועצות ונועדה לייצג את חומת המגן של הנאציזם על אירופה מפני הקומוניזם. מתכנני שני הביתנים זכו במדליית זהב.
הפרויקט הגדול שהטיל היטלר על שפר היה תכנונה מחדש של ברלין והפיכתה למטרופולין ענק בשם "בירת העולם גרמאניה" וזאת כחלק מפרויקט אפילו יותר גדול בשם "ערי הפיהרר". פרט למבנים כמו האצטדיון האולימפי של ברלין (שנבנה לאולימפיאדת ברלין) ותוכנן על ידי האדריכל ורנר מארץ , תכנן שפר את בניין הקאנצלרייה החדש. בניין זה תוכנן מראש בממדי ענק, וכלל אולם רחב ממדים שנועד להיות גדול פי שניים מ"אולם המראות" המפורסם בארמון ורסאי. הבניין ניזוק באופן חמור במהלך הקרב על ברלין ב-1945 וסופו שפוצץ כליל בידי הכובשים הרוסים.
פרט לבניין עצום זה, אף אחד מן הבניינים המתוכננים לא נבנה בפועל. ברלין נועדה להיבנות מחדש לאורך שדרה בת חמישה קילומטרים; בקצה הצפוני של השדרה נועד להיבנות ה"היכל העם", אולם כינוסים ענק בעל כיפה, המבוסס על מבנה בזיליקת פטרוס הקדוש בקריית הוותיקן. כיפת האולם הייתה ענקית באופן כמעט בלתי ניתן ליישום: גובהה אמור היה להיות מאתיים מטר, והיקפה שלוש מאות מטר, פי שישה עשר מכיפת הבזיליקה של פטרוס הקדוש, ששימשה לה כדוגמה. את הקצה הדרומי של השדרה אמור היה לעטר שער ניצחון נישא, המבוסס על שער הניצחון בפריז, שגובהו אמור היה להיות מאה ועשרים מטר. בצדי השדרה אמורים היו להיות מוצבים תותחים שיאספו כשלל משדות הקרב על ידי הצבא הגרמני.
אף לא אחת מתוכניות אלו לא יצאה לפועל, שכן מלחמת העולם השנייה שאבה את כוח האדם ואת חומרי הגלם שאמורים היו להיות מושקעים במפעלי הענק. המבנים, שתרשימים ודגמים מוקטנים שלהם נותרו עדיין, יוצרים רושם של בומבסטיוּת ומגלומאניה, חסרי כל פרופורציה ביחס לסביבתם, נטולי כל ייעוד של ממש פרט להטלת אימה ומורא.חלק מהמבנים תוכננו על פי סקיצות שערך היטלר בעצמו.
פן טראגי שקשור לתוכניות אלו: ההכנות לבינויה מחדש של ברלין גרמו לפינוי היהודים מאזורים המיועדים לבינוי. במסגרת תפקידו כאחראי על בנייתה מחדש של ברלין, היה שפר אחראי, בשנים 1938–1941, גם על פינוי יהודים מבתיהם בברלין, ששימשו לשיכון הדיירים ה"אריים" שפונו מבתיהם שנמצאו במקומות המיועדים לבינוי מחדש. היהודים שפונו מן הדירות גורשו לגטאות בפולין ונרצחו בהמשך.
על ליל הבדולח ב-1938 כתב שפר בזכרונותיו: .
שר החימוש.
ב-1942 התרסק מטוסו של שר החימוש הגרמני פריץ טודט שנהרג בתאונה. היטלר מינה את שפר ליורשו של טודט בכל תפקידיו. חיבתו האישית של היטלר לשפר והערכתו ליכולותיו הארגוניות והטכניות, העמידו את שפר מעל לקנוניות ולריבים האישיים שליוו את צמרת המשטר הנאצי בכל הדרגים. שפר הועדף לתפקיד זה על פני אישים כהרמן גרינג, שחמדו לספח את סמכויותיו של טודט לתחומי אחריותם.
במסגרת אחריותו החדשה ניסה שפר להתאים את המשק הגרמני למצב המלחמה, ולייעלו למצב דומה למה שנעשה במדינות בעלות הברית. המשק הגרמני לקה בבעיות שחיתות וחוסר תיאום, חרף זאת שפר הצליח לגרום לריכוז כל הסמכויות הנוגעות לתעשייה לידיו, ולקיצוץ בבירוקרטיה הנאצית, וכך הצליח להכפיל פי ארבעה את ייצור החימוש בגרמניה. במהלך השנתיים וחצי הבאות, כשהייצור היה בשיאו, סבלה גרמניה מהפצצות אוויריות בלתי פוסקות, שהיו ממוקדות לעבר מרכזי אוכלוסייה ותעשיית החימוש.
בשנים שבהן חרבו הערים ומפעלי התעשייה של גרמניה בהפצצות בלתי פוסקות, מיקסם שפר את ייצור התחמושת, תוך ניצול מרבי של הטכנולוגיה, וכן יישום כח אדם של עובדי כפייה, ואיפשר פיתוחם של מטוסי סילון ושל טילים. שפר כבש לעצמו מקום חשוב בצמרת הנאצית, והיה לאחד האנשים החזקים ביותר ברייך באותן שנים.
מכשול גדול שעמד בדרכו היה המדיניות שמנעה מנשים גרמניות לעבוד בתעשייה, בניגוד מוצהר לנהוג במדינות בעלות הברית, שניצלו את מלוא כוח האדם שלהן, והעסיקו נשים במפעלי התעשייה בעת שהגברים היו בשדה הקרב. על מנת למלא חוסר זה הסתייע שפר במיליוני עובדי כפייה (גברים ונשים), שהובאו מהשטחים שנכבשו והועסקו בתנאים בלתי אנושיים. רק בינואר 1943 נעתר היטלר להפצרותיו והוציא צו המחייב כל אישה בגרמניה, בגיל 17–45, לעבוד בתעשיית החימוש.
לאחר קשר העשרים ביולי ב-1944, בו זממו קציני צבא להתנקש בחיי היטלר באמצעות פצצה, נמצא שמו של שפר ברשימת חברי ממשלתם העתידית, כפי הנראה - שלא בידיעתו. רק ההערה "במידת האפשר", שנרשמה בכתב יד ליד שמו של שפר, הצילה אותו מגורלם האיום של הקושרים. למרות זאת, לפי עדותו, זמם שפר עצמו בשלביה האחרונים של המלחמה להרוג את היטלר תוך שימוש בגז רעיל שיוחדר בארובת הבונקר בו הוא הסתגר, אך חזר בו מתוכניתו. רבים מתייחסים בספקנות לטענה זו ורואים בה ניסיון לחמוק מעונש מוות במשפטי נירנברג.
עד יומו האחרון ראה היטלר בשפר ידיד נאמן. עם זאת, אמונו התערער כאשר כתב שפר תזכיר שכותרתו "המלחמה אבודה". היטלר שאף להילחם עד הסוף המר, והוציא פקודה שנקראה "צו נירון". משמעות הצו הייתה הפיכת אירופה בכלל וגרמניה בפרט לאדמה חרוכה ולפיה בכל שטח אותו מפנים חיילי הוורמכט, כולל שטחים בגרמניה גופא, ייהרסו כל מפעלי התעשייה, התשתיות, החקלאות ואף האמנות. מטרתו הייתה להקשות על אפשרות של קיום אנושי בשטחים שיפונו. שפר ראה בפקודה זו אסון, ופעל לסיכולה.
בימיו האחרונים של היטלר בבונקר הפיקוד, בשעה שהתחולל הקרב על ברלין, כשההגעה לברלין הייתה כרוכה בסכנה והיציאה ממנה כמעט בלתי אפשרית, טרח שפר והגיע אל הבונקר של היטלר, והיה אחד האחרונים שפגשו את הרודן בעודו בחיים. שפר הביע באוזני היטלר את התנגדותו לפקודת האדמה החרוכה, אך הביע את הערכתו והערצתו לרודן. לדברי שפר, היטלר הגיע בשיחה זו לידי דמעות; בסופו של דבר הוא נפרד מידידו היטלר ויצא מברלין. היטלר החליט להדיר אותו מהקבינט החדש שיקום לאחר מותו, ושאת חבריו מינה בצוואתו הפוליטית שהוכתבה למזכירותיו בבונקר, טרם התאבדותו. אך שלא כאחרים שמהם סר חסדו, לא הורה על מעצרו או הוצאתו להורג. שפר נועד להיות מוחלף על ידי קארל אוטו סאור, שהיה הכפוף לו במשרדו.
שפר שימש עוד כמה ימים לאחר מותו של היטלר בתפקיד שר בממשלה הזמנית שהוקמה בפלנסבורג על ידי יורשו של היטלר, האדמירל קרל דניץ, ולאחר מכן נעצר והועמד לדין כפושע מלחמה.
לאחר המלחמה.
במשפטי נירנברג הוגש כתב אישום נגד שפר, על חלקו בפשעי המשטר הנאצי כנגד האנושות, ובמיוחד על חלקו בניצול עבודת הכפייה. שפר טען כי לא היה מעורב בארגון עבודת הכפייה, והטיל את האחריות לכך על חברו לקבינט, פריץ זאוקל. במהלך המשפט הודה שפר שהוא אשם בפשעים בהם הואשם, ושאף שלא ידע על מעשי ההשמדה ההמוניים, לרבות השואה והשמדת היהודים, ולא היה אחראי לתנאים בהם היו מועסקים עובדי הכפייה - הרי שכחבר בקבינט של היטלר הייתה לו אחריות, למרות טיבו הטוטליטרי של המשטר שדרש ציות עיוור. עמדה זו הביאה לכך ששפר התחמק מעונש המוות, ונידון לעשרים שנות מאסר, שאותן ריצה עד תומן בכלא שפנדאו. פריץ זאוקל, שעליו הטיל שפר את האחריות לתנאים בהם הועסקו עובדי הכפייה, נידון למוות והוצא להורג.