הקבוצות והאישים ניהלו את ההתנגדות למשטר הנאצי בתוך מנגנון המדינה הנאצית, שמרכזו בצבא, במשרד החוץ, ובמודיעין הצבאי (האבווהר). קבוצות אלו ניסו להדיח את היטלר עוד בשנת 1938. ניסיון זה היה מאורגן היטב, וכלל אף פלוגות מחץ שהסתתרו במבנים שונים בברלין, חומשו והמתינו ליום פקודה. אולם הניסיון היה תלוי מלכתחילה בשיתוף פעולה בריטי, ונכשל לאחר שהבריטים חתמו עם היטלר על הסכם מינכן הידוע לשמצה. ניסיונות מבודדים שונים להתנקש בהיטלר ולהפיל את המשטר הנאצי התבצעו גם ב-1939, וככל הנראה גם ב-1940 וב-1941. אולם כל הניסיונות נכשלו בשל חוסר שיתוף פעולה מצד גנרלים בכירים, בידודם של הקושרים, ובעיקר- שינויים פתאומיים בלוח הזמנים של היטלר שסיכלו כל ניסיון התנקשות.
לאחר התבוסה הגרמנית בקרב סטלינגרד, בשנת 1942, הצליחו הקושרים לאחד סביבם חלק מן הדמויות המשפיעות ביותר בוורמאכט וביניהם מפקד קבוצת הארמיות מרכז, פילדמרשל גינתר פון קלוגה. בשלב זה היה ברור למרבית אנשי הוורמאכט כי היטלר מוביל את גרמניה לאסון, ועל אף "שבועת החיילים" אותה הכריח היטלר כל איש צבא להישבע לו, הסכימו להשתתף בגלוי בקשר כנגדו. יש להבדיל בין שתי קבוצות עיקריות בקשר: אותם הקושרים שהיו מחויבים אידאולוגית למאבק במשטר הנאצי ושאפו להפסיק את פשעי המלחמה שלו, כמו גם להציל את גרמניה מהתבוסה, וכנגדם- קצינים שהצטרפו לקשר מטעמים צבאיים בעיקר, אך ורק כי ראו שגרמניה עומדת להפסיד במלחמה. בקבוצה הראשונה ניתן למנות בעיקר את המפקדים הזוטרים יותר בקשר- גנרל הנינג פון טרסקו, גנרל האנס אוסטר, גנרל פרידריך אולבריכט, סרן אקסל פון דם בוסשה וקולונל קלאוס שנק פון שטאופנברג. בקבוצה השנייה ניתן למנות מפקדים בכירים כמו פילדמרשל פון קלוגה ופילדמרשל ארווין רומל, שהצטרף לקשר אך ורק ביולי 1944. רוב הקושרים, משתי הקבוצות, באו בעיקר (אם כי לא רק) מכת הקצינים הפרוסית, ומבתי האצולה של המשטר הקיסרי הישן, המעמד היחיד בחברה הגרמנית שאליו לא הצליחה האידאולוגיה הנאצית לחדור באופן מוחלט.
את הבסיס האידאולוגי לפעילות זרם זה נתן "חוג קרייזאו", קבוצת אינטלקטואלים בראשות הרוזן הלמוט ג'יימס פון מולטקה, צאצא לבית האצולה הצבאי מולטקה, אשר הקבוצה התכנסה באחוזתו הקרויה "קרייזאו". מולטקה פעל בשיתוף פעולה עם הרוזן פטר יורק פון וארטנבורג. השניים אספו מסביבם קבוצה מגוונת, שכללה את המשפטן האנס ברנד פון האפטן, אחיו של ורנר פון האפטן שהיה בעל תפקיד מפתח בקשר, את ד"ר יוליוס לבר, את ד"ר אדם פון טרוט צו זולץ, עורך דין ודיפלומט, ואת ד"ר אויגן גסטנמאייר, איש כמורה ופילוסוף. כל אחד מחבורה זו תרם את חלקו בניסיון ליצור דמות של גרמניה הרצויה לאחר המלחמה ולתת לקשר רקע אידאולוגי. נראה כי הם גיבשו צורה מרוככת של סוציאל-דמוקרטיה, הנשענת על יסודות נוצריים. קבוצת קרייזאו הייתה בקשר עם קבוצת הקושרים במטה הכללי, דרך הגנרל בק, ועם גורמים נוספים, דרך קרל גרדלר. כן קיימה הקבוצה קשר עם אלן דאלס, מהמודיעין האמריקני, קשר שאותו קיים הדיפלומט טרוט צו זולץ.
ההתנגדות שלפני המלחמה (1933–1939).
לא הייתה כמעט התנגדות מאורגנת למשטרו של היטלר בתקופה שבין מינויו לקנצלר גרמניה ובין משבר צ'כוסלובקיה בשנת 1938. עד יולי 1933 הצליח היטלר לדכא את פעילות כל האיגודים המקצועיים ומפלגות השמאל, שלט בתקשורת ההמונים, ברדיו ובעיתונות ונטרל את רוב מרכיבי החברה האזרחית בגרמניה. קונקורדט הרייך עליו חתם עם הכנסייה הקתולית ביולי 1933 הכשיל למעשה את האפשרות להתנגדות מאורגנת מצד הכנסייה הקתולית, ואילו הכנסייה הפרוטסטנטית הגדולה והמאורגנת ביותר, הכנסייה הלותרנית, הייתה בעיקרה תומכת במשטרו, על אף שמיעוט מקרב אנשי הכמורה הביעו התנגדות. שבירת כוחו של ה-SA ב"ליל הסכינים הארוכות" ביוני 1934 שברה את האגף ה"שמאלי" והפופוליסטי של המפלגה הנאצית, והפכה את הרייכסווהר, אשר סייע בטבח ההמוני, לשותף פעיל לפשעי המשטר, ובעל עניין בהמשך קיומו.
לפני הטבח נשמעה עוד ביקורת פומבית על היטלר מצד שמרנים בממשלתו כפרנץ פון פאפן, אך "ליל הסכינים הארוכות" לא היה רק חיסול חשבונות עם ה-SA. היטלר ניצל את ההזדמנות והכה בשמרנים, לרבות חיסולם הפיזי של מקצת ממנהיגיהם כקורט פון שלייכר. אנשים כפון פאפן נדמו, ודרכו האישית של פון פאפן הביאה אותו עד לספסל הנאשמים במשפטי נירנברג.
קיימת הסכמה כי משטרו של היטלר היה בעל פופולריות גבוהה ביותר בתקופה זו. כישלונותיה של רפובליקת ויימאר הביאו לירידה בערכה של הדמוקרטיה בעיני הגרמנים. הצלחותיו של היטלר בתחום הכלכלי, בחיסולה של האבטלה, ובניתוק כבלי הסכם ורסאי, ולאחר מכן בתחום מדיניות החוץ, השבתו של חבל הריין לידי גרמניה בשנת 1936 וסיפוחה של אוסטריה בשנת 1938, הביאו להיטלר פופולריות כמעט ללא תקדים.
האופוזיציה ה"טבעית" נוטרלה. ראשי המתנגדים להיטלר היו במחנות ריכוז או השמיעו את קולם מחוץ לגרמניה. אמנים, שחקנים, סופרים ומשוררים, מדענים מובילים ואחרים (כברטולט ברכט, מרלן דיטריך, קונרד ויידט, תומאס מאן, אלברט איינשטיין ורבים אחרים), יצאו לגלות, וצעירים כוילי בראנדט וריימונד פרצל (סבסטיאן הפנר), פעלו מחוץ לגרמניה כנגד המשטר הנאצי. אנשים אלו היו בעלי השפעה על דעת הקהל העולמית, ופעילותם הייתה חשובה, אך הם איבדו את יכולתם להשפיע ולהשמיע את קולם בגרמניה עצמה.
במהלך תקופה זו שמרו ה-SPD וה-KPD על רשתות מחתרתיות, על אף שהמאבקים שהיו ביניהן בטרם עלו הנאצים לשלטון מנעו את שיתוף הפעולה ביניהן. רשתות מחתרתיות אלו היו נתונות לחדירות של הגסטפו, ומעצרים והוצאות להורג של פעילים היו מחזה נפוץ. למרות עובדה זו המשיכו הרשתות לגייס פעילים חדשים מקרב מעמד הפועלים, שהתנגדו לשיטות הכפייה של המשטר בתחום יחסי העבודה, ולאספקטים אחרים של הנאציזם. לאחר קבלת חוק ההסמכה, שחיסל למעשה את מראית העין הדמוקרטית שהייתה עד אז בגרמניה, יצאו מנהיגי ה-SPD, ובראשם אוטו ולס לגלות, ומשם המשיכו את פעולתם, בתחילה בחבל הסאאר שהיה תחת שלטון חבר הלאומים, ולאחר מכן בפראג ובפריז. מנהיגותה הגולה של ה-SPD בפראג הצליחה להשיג ולהדפיס דו"חות מדויקים בדבר המתרחש בגרמניה. אך מעבר לעצם השמירה על הקיום, ויצירת תסיסה מוגבלת בקרב הפועלים, שהתבטאה בשביתות קצרות מועד, מקומיות ובלתי סדירות, רשתות אלו לא הצליחו להשיג דבר.
אף-על-פי-כן, בעוד שהגופים החוץ-ממשלתיים שניסו להתנגד בצורה כלשהי למשטר דוכאו לחלוטין, בקרב מנגנון הממשלה נותר בסיס ממשי לאופוזיציה כנגד היטלר. המפלגה הנאצית אמנם השתלטה על השירות הציבורי הגרמני, אך לא פירקה אותו ובנתה אותו מחדש, כשם שעשו הבולשביקים בברית המועצות. מוסדות ותיקים בעלי סגל מקצועי, כגון משרד החוץ, שירותי המודיעין, ומעבר לכל, הצבא, נותרו בעלי מידה מסוימת של עצמאות, בעוד שכלפי חוץ הביעו כפיפות ונאמנות למשטר החדש.
מצב זה היה ברור להיטלר ולהימלר, אשר בשנת 1938 הדיחו, בשל שערוריות מין מפוברקות, שכונו פרשת בלומברג-פריטש, את שני מפקדיו הבכירים של הצבא, ורנר פון בלומברג וורנר פון פריטש. צעד זה הביא לשליטה גוברת של היטלר בוורמאכט, ולהכפפתו לפיקודו, אך הותיר שכבה ממורמרת של קצינים בכירים, שראו כי מעשיו השפלים של המשטר יכולים להגיע גם למקומות שנחשבו בעיניהם כחסינים מפני התערבות פוליטית.
השמרנים, שסייעו להיטלר לעלות לשלטון, התפכחו אף הם, בתקופה שלאחר ליל הסכינים הארוכות, ורבים מהם ראו כי המשטר החדש הוא אסונה של גרמניה. כחלק מן הברית עם השמרנים הותיר היטלר בממשלתו את השמרן הבלתי מפלגתי קונסטנטין פון נויראט. נויראט היה נאמן להיטלר, אך במהלך תקופת כהונתו כשר החוץ, עד לשנת 1938, הפך משרד החוץ, אשר מטבע הדברים היו עובדיו בעלי גישה לחומר רגיש, דיפלומטי ומודיעיני, למקור פעיל להתנגדות להיטלר, בהנהגת תת-שר החוץ ארנסט פון וייצקר. אישים מרכזיים במעגל קושרים זה היו השגריר ברומא, אולריך פון האסל, השגריר במוסקבה, פרידריך ורנר פון דר שולנבורג, והדיפלומטים אדם פון טרוט צו זולץ, אריך קורדט והאנס ברנד פון האפטן. הקושרים המשיכו בפעולתם אפילו לאחר החלפתו של נויראט בנאצי הקנאי יואכים פון ריבנטרופ.
המרכז החשוב ביותר להתנגדות בתוך מנגנון המדינה היה בשירותי המודיעין, שפעולתם החשאית סיפקה מסווה מצוין להתארגנות פוליטית. דמות המפתח היה בריגדיר גנרל האנס אוסטר, מראשי שירותי המודיעין הצבאי, ואנטי-נאצי מובהק משנת 1934. אוסטר נעזר בראש האבווהר, האדמירל וילהלם קנריס. השניים בנו רשת חשאית של מתנגדי משטר בצבא ובשירותי המודיעין. בעל ברית שסייע להם היה האנס ברנד גיזביוס, פקיד בכיר במשרד הפנים. כמו כן הצילו השניים, בשיתוף פעולה עם המשפטן האנס פון דוהנני, מאות יהודים על ידי הברחתם לחוץ לארץ כמרגלים, במסגרת המבצעים החשאיים "אקווילר" ו־"U-7", ולעיתים אף סייעו בחשאי למחתרות אנטי-נאציות בסקנדינביה. היילמאר שאכט, נציב הרייכסבנק, היה אף הוא בקשר עם קבוצה זו. העובדה כי שאכט היה בין הנאשמים הבכירים במשפטי נירנברג (וזוכה בדין), וכי גיזביוס היה אדם בעייתי, ששירת בעבר בגסטפו (אם כי על זכויותיו במאבק האנטי-נאצי אין עוררין), מראה על הקושי שבפעולת הקושרים, ועל העדינות בה הצטרכו לעשות את מלאכתם.