הבעיה שעמדה בפני קבוצות אלו הייתה סדרת הניצחונות שנחל היטלר בשנים אלו. הם הכירו בכך שהתנאים לא אפשרו התנגדות פוליטית גלויה. לא רק בשל מנגנוני הביטחון האפלים שיצר המשטר, שכן אלו ניתנים היו לעקיפה, כפי שהראתה מחאת הקתולים כנגד הפקודה להסיר את הצלבים מבתי הספר בשנת 1941, מחאה יעילה שהובילה לכניעת המשטר בנושא זה, אלא בשל התמיכה האדירה שלה זכה המשטר בקרב העם הגרמני. תנועות התנגדות בארצות כבושות יכולות היו להיראות כפטריוטיות. תנועת ההתנגדות הגרמנית נתפסה מראש כתנועה בלתי פטריוטית, במיוחד בזמן מלחמה. הפקידות הבכירה וקציני הצבא שהשתתפותם בקשר הייתה חיונית להצלחתו נרתעו מפעולות "חתרניות" ו"בוגדניות".
עוד בשנת 1936 הגיעו גיזביוס ואוסטר למסקנה כי משטר הנשלט באופן מלא על ידי אדם אחד יוכל להיות מופל באמצעות חיסולו של אותו אדם, אם באמצעות התנקשות או במרידה צבאית. אך זמן רב עבר עד שמספר משמעותי של גרמנים קיבלו דעה זו. רבים החזיקו בתקווה כי היטלר יתמתן, וכי ניתן לדבר עמו ולשכנעו, או כי במהלך הזמן יוחלף בדמות מתונה יותר מקרב המפלגה. אחרים טענו שאין להאשים את היטלר בפשעי המשטר, וכי יש להסיר ממנו את השפעתם של הימלר ואנשי ה-SS על מנת להשיג תוצאות. אחרים, במיוחד קציני הצבא, נמנעו מלפעול נגד היטלר באופן אישי, שכן היו מחויבים לו בשבועת נאמנות, אותה הנהיג היטלר לגבי כל חייל בצבא, משנת 1934.
האופוזיציה סבלה מחוסר הסכמה על היעדים מעבר לצורך להדיח את היטלר. חלקם היו ליברלים שהתנגדו לאידאולוגיה הנאצית באופן כולל, ורצו להחזיר את הדמוקרטיה הפרלמנטרית. קציני הצבא ואנשי שירות המדינה היו ברובם שמרנים ולאומנים, וחלקם תמכו במעט מזער מרעיונותיו של היטלר עם עלותו לשלטון, וראו חלק ממעשיו באופן חיובי. דוגמה טובה לכך היא אחד מראשי הקשר, קרל פרידריך גרדלר, ראש העיר לייפציג. גרדלר תמך אמנם במשטר סמכותי, אך הצטרף לתנועת ההתנגדות בשל רדיפת היהודים, מדיניות החוץ הרת האסון, השואה ויתר פשעי המלחמה- להם התנגד נמרצות. חלק מהקושרים חלמו על השבתה של שושלת הוהנצולרן, וחלק רצו במשטר אוטוריטרי, אך לא נאצי. אחדים (אמנם מיעוט קטן בתנועת התנגדות) לא התנגדו באמת למדיניות התוקפנית של היטלר ולפשעי המלחמה שלו, והתנגדו לו רק בשל המלחמה האבודה (פילדמרשל פון קלוגה הוא דוגמה טובה לאנשים אלה). בנסיבות אלו לא ניתן היה ליצור חזית מאוחדת, או ליצור קשר עם בעלי ברית אפשריים מחוץ לגרמניה.
ההתנגדות בקרב הצבא (1938–1942).
על אף סילוקם של בלומברג ופריטש, עדיין נותרה לצבא עצמאות מוגבלת, וקצינים בכירים יכלו לדון זה עם זה בעניינים פוליטיים בשיחות פרטיות. במאי 1938 הבינה הנהגת הצבא כי בכוונתו של היטלר לפלוש לצ'כוסלובקיה, אפילו במחיר מלחמה עם בריטניה, צרפת וייתכן שאף ברית המועצות. ראש המטה הכללי של ה-OKW, הגנרל לודוויג בק, התייחס לכך כצעד פזיז ומסוכן, והאמין כי במלחמה כזו עתידה גרמניה להפסיד. בק גם הסתייג מהדיקטטורה הנאצית ומרדיפת היהודים, אך בשנים אלו- מניעיו העיקריים נבעו מחששו ממלחמת עולם. אוסטר ובק שלחו שליחים לפריז וללונדון על מנת לייעץ למעצמות המערב לעמוד איתן כנגד דרישותיו של היטלר, ובכך קיוו לחזק את ידם של מתנגדי היטלר בוורמאכט עצמו. וייצקר שלח אף הוא מסרים ללונדון ברוח זו. הבריטים והצרפתים לא ידעו כיצד להתייחס אל המסרים שהגיעו אליהם, ובחרו להתעלם מהם.
באוגוסט הביע בק את התנגדותו לפלישה לצ'כוסלובקיה בפורום פתוח של קציני צבא. הידיעה הגיעה להיטלר, אשר דרש וקיבל את התפטרותו של בק. בק היה בעל עמדה מכובדת בצבא, והתפטרותו הביאה להלם במטה הכללי. יורשו בתפקיד ראש המטה הכללי, פרנץ הלדר, נשאר בקשר עמו, ואף עם אוסטר. באופן פרטי התייחס להיטלר כ"התגלמות הרשע". במהלך ספטמבר, תוכניות להדחתו של היטלר תוכננו, ועתה היה מעורב בהן גנרלפלדמרשל ארווין פון ויצלבן, מפקד האזור הצבאי של ברלין, והאדם המוצב במקום הנוח ביותר לצורכי הקושרים.
אוסטר והאחרים המריצו את הלדר לפתוח בקשר מיידי להדחתו של היטלר, אך קציני הצבא המעורבים טענו שיוכלו להשיג תמיכה נרחבת רק אם היטלר יפעל בגלוי לפתיחה במלחמה. הלדר ביקש מאוסטר להכין תוכניות למקרה כזה. וייצקר וקנריס יודעו על התוכנית המתגבשת. הקושרים לא הסכימו כיצד לנהוג בהיטלר אם יצליח הקשר. לבסוף הסכימו אחדים מהם (בעיקר אוסטר, אך כנראה גם ויצלבן) כי יש להרוג אותו, על מנת לשחרר את הקצינים משבועתם. הוסכם כי הלדר ייתן את האות, כאשר יפתח היטלר בצעדים גלויים למלחמה. הקושרים דאגו להסתיר "פלוגות מחץ" בדירות בברלין, בפיקודו של רב-סרן וילהלם היינץ, ולחמש אותן. פלוגות אלו היו אמורות להסתער על לשכת הקנצלר מיד עם מתן האות מהאלדר. לפי הסכמה חשאית בין אוסטר והיינץ, היו אנשי הפלוגות אמורים לירות למוות בהיטלר "בטענה שניסה לברוח".
באופן מפתיע, מפקד הצבא, הגנרל ולטר פון בראוכיטש היה מודע לתוכניות הקושרים. בראוכיטש אמר להלדר כי לא יוכל להשתתף בפעולה מסוג זה, אך לא עשה דבר על מנת ליידע את היטלר בקשר המתרקם נגדו. זו הייתה דוגמה מצוינת ל"קשר השתיקה" שבין קציני הוורמאכט הגבוהים, שהיה עתיד להגן על אנשי הקשר עד יולי 1944, ובמקרים מסוימים גם לאחריו.
ב-13 בספטמבר הכריז ראש הממשלה הבריטי, נוויל צ'מברלין כי ברצונו לבקר בגרמניה על מנת לשאת ולתת עם היטלר לפתרון משבר חבל הסודטים. הקושרים, שהיו בטוחים כי עוד מעט יינתן האות למלחמה ואז יופעלו תוכניותיהם, הופתעו מצעד זה. כאשר נראה, ב-20 בספטמבר, כי המשא ומתן עלה על שרטון, החלו ההכנות לקשר להתקדם, עד לנקודה בה כל שהיה דרוש הוא אישורו של הלדר.
ב-28 בספטמבר הגיעו צ'מברלין והיטלר להסכם מינכן, אשר הביא לביתורה של צ'כוסלובקיה, ולכניסת הוורמאכט לחבל הסודטים מבלי שתיירה ירייה אחת. כל תוכניות הקושרים קרסו באחת. קושרים אחדים הביעו אכזבה מפעולת צ'מברלין, אך סירבו לפעול בתנאים הפוליטיים החדשים שנוצרו. האלדר לא הסכים לשתף עמם פעולה, וגם ויצלבן סבר שהחיילים לא ישתפו פעולה בשל ניצחונו האדיר של היטלר והפופולריות שלו בדעת הקהל. לפיכך, סבורים רבים, ביניהם גם ההיסטוריון טרי פרסינן שכתב ספר על הנושא, כי צ'מברלין הכשיל את הניסיון המבטיח ביותר להפיל את המשטר הנאצי. הימים שלפני הסכם מינכן היו הימים הקרובים ביותר להוצאה לפועל של קשר כנגד היטלר, עד לקשר העשרים ביולי, כשש שנים לאחר מכן.
בשנת 1939 התברר לכל כי צ'כוסלובקיה לא תהא דרישתו הטריטוריאלית האחרונה של היטלר, וכי מעצמות המערב הולכו שולל. הדרך למלחמה הייתה ברורה ופרושה בפני כל. אוסטר עדיין היה בקשר עם הלדר וויצלבן, על אף שוויצלבן הועבר לפרנקפורט, ובתפקידו החדש היה בעל ערך פחות לקושרים. בפגישה עם גרדלר, הסכים ויצלבן ליצור רשת של קצינים בכירים המוכנים ליטול חלק בפעולה למניעת מלחמה כנגד מעצמות המערב, אך רמת התמיכה לה זכו גישושיו הייתה נמוכה בהרבה מזו שלה זכה בשנת 1938. רוב הקצינים הסכימו עם דרכו של היטלר, ואלו מביניהם שהיו מכת הקצינים הפרוסית, בעלי האחוזות במזרח, ראו בעין יפה את רצונו לתקוף את פולין, ואת המטרה לקבל לידי גרמניה את המסדרון הפולני כמטרת מלחמה מוצדקת. נראה כי אם בשנת 1938, ערב הסכם מינכן, יכלו הקושרים לסמוך על תמיכה רחבה בצבא, המונהגת על ידי ראש המטה הכללי הלדר, וייתכן שעל ידי המפקד העליון בראוכיטש, ב-1939 היה עליהם לסמוך על תמיכה מוגבלת בצבא, ותמיכה של חלק מהמנגנון הממשלתי.
מנהיגי הקושרים ניסו פעם נוספת לשכנע את בריטניה וצרפת להתנגד להיטלר. הלדר נפגש באופן סודי עם השגריר הבריטי לברלין, סיר נוויל הנדרסון, על מנת לעודדו לפעול בתקיפות. שוב תכננו הקושרים להכריז על הקשר ביום שבו יורה היטלר לכוחות הצבא לנוע. אך על אף שבריטניה וצרפת היו מוכנות עתה לפעול במקרה של פלישה לפולין, ככל שהתקדמה המלחמה, בגדו בהלדר עצביו. קנריס ואחרים ניסו להתעמת עם בראוכיטש והלדר, ולהכריחם להורות על הדחתו של היטלר, אך הדבר לא הוביל לפעולה כלשהי. כאשר הורה היטלר לצבאו לנוע לפולין, ב-1 בספטמבר 1939, היו הקושרים חסרי יכולת לפעולה.
פרוץ מלחמת העולם השנייה הפך את מאמצי הקושרים לקשים בהרבה. הלדר המשיך להתנגד למהלכיו של היטלר. בסוף שנת 1939 ותחילת שנת 1940 התנגד למהלכים שתכנן היטלר לפלישה לצרפת, ונשאר בקשר עם הקושרים באמצעות הגנרל קרל-היינריך פון שטילפנגל. הדיבורים על הקשר החלו שוב לצבור תאוצה, ועתה עלה הרעיון לחסל את היטלר באמצעות פצצה. קושרים התגלו גם במטה הצבא בצוסן וכינו עצמם "קבוצת צוסן".
כאשר בנובמבר 1939 נראה כי היטלר עומד להורות על מתקפה במערב, שכנעו הקושרים את הגנרל וילהלם פון לב, מפקד קבוצת ארמיות C על הגבול הבלגי, לתמוך בקשר אם תינתן פקודת הפלישה. אוסטר עצמו נפגש עם גורמים בלגים והולנדים, והזהירם כי בכוונתו של היטלר להפר את הנייטרליות של ארצם, ולפלוש דרכה אל צרפת, כפי שאירע בשנת 1914. אזהרותיו נתפסו כדיסאינפורמציה מכוונת. כאשר דחה היטלר את המתקפה עד למאי 1940 איבד הקשר את תנופתו, והלדר היה עתה בדעה כי העם הגרמני לא יקבל את פעולת הקושרים.