ב-1 בספטמבר 1939 יצא הגיליון האחרון של העיתון "Affirmation". במרץ 1940 עזבה יווה צירינסקי עם משפחתה לפלשתינה. דוד קנוט כרך את כל הגיליונות של העיתון והעביר אותם ליווה, שלקחה את הגיליונות איתה לארץ ישראל. היא הייתה סבורה שיש לעיתון ערך היסטורי, ולכן לאחר המלחמה מסרה אותו לרשות הזיכרון לשואה ולגבורה יד ושם.
עקב התקרבות הצבא הגרמני לפריז, הועברו קנוט ויחידתו לדרום צרפת. שרה קנוט נשארה עם הילדים בפריז. היא רשמה את אלי לגן ילדים והתחילה לעבוד במפעל, אבל בתוך שלושה ימים נסגר המפעל ואנשים החלו לברוח מפריז. בוריס שלצר קרא לשרה קנוט להגיע אליו לפירנאים, אך היא סירבה לעזוב בטרם תשמע ידיעות אודות בעלה. ב-13 ביוני 1940, יום לפני כניסת הגרמנים לפריז (ראה "המערכה על צרפת ועל ארצות השפלה", פרק "הוורמאכט פונה דרומה"), הצליח דוד קנוט להודיע לשרה שהשתחרר ושהוא מחכה לה בטולוז. המשפחה עזבה את פריז במהירות.
טולוז.
טולוז נמצאה ב"אזור החופשי" שלא היו בו לחימה וכוחות כיבוש, אך פעלו בה משתפי פעולה ומיליציות שהורכבו מתושבי המקום. העיר הייתה מלאת פליטים, בהם יהודים רבים. דוד קנוט, כמו יהודים אחרים, ניסה להשיג ויזה לאמריקה או למקום אחר, אך ללא הצלחה. למשפחה לא היה מקום מגורים, ומחירי שכר הדירה בעיר האמירו מאוד. שרה קנוט שלחה את בנותיה לשלצר, אך לאחר כמה חודשים שבה מרים לטולוז. לבסוף, לאחר מאמצים, מצאה המשפחה מקום מגורים בדירה זעירה במרתף. הם סבלו מרעב, והסכימו לכל עבודה שהוצעה. זמן מה עבד דוד כשומר בבית חולים פסיכיאטרי. בני המשפחה חדלו לדבר רוסית ועברו, לצורך החשאיות, לדבר צרפתית בלבד.
חיי בטי, בתה של שרה קנוט, אצל דודהּ בוריס שלצר היו בתחילה בטוחים. שלצר אף הסית את בטי נגד היהודים ונגד היהדות. למרות זאת, במקרה אחד, חשדו בו הנאצים כיהודי וכקומוניסט וכלאו אותו ואת בטי למספר ימים. בהשפעתו של שלצר אף רצתה בטי לעבור לנצרות הקתולית, וכתבה על כך לאמה. קנוט אמרה: "אם בטי תתנצר, אהרוג אותה ואת עצמי", ומיד החזירה את בתה אליה לטולוז. בהשפעת המכתבים מבוריס שלצר ובניגוד לרצון אמה, המשיכה בטי לשמור בטולוז על אורח חיים נוצרי. קנוט נאלצה לבקש עזרה מהרב פנחס רויטמן, שעבד עם הנוער היהודי, והוא הצליח לשנות את דעתה של בטי. מאוחר יותר החלה שרה קנוט לערב את בטי בפעילותה של המחתרת.
הקמת הצבא היהודי.
בסוף יולי 1940 התקיימה פגישה בין דוד ושרה קנוט לבין אברהם פולונסקי ואשתו אז'ני. מאוחר יותר נזכר אברהם ביום הפגישה כיום שבו המחתרת היהודית הפכה מרעיון למציאות.
עם התגברות האנטישמיות באירופה, ובפרט לאחר כיבוש צרפת על ידי הגרמנים והקמת משטר וישי, הגיעו בני הזוג פולונסקי, ואף שרה ודוד קנוט, למסקנה כי יש צורך להקים מחתרת יהודית לפעילות נגד הנאצים. לפולונסקי היה ניסיון בפעילות מחתרתית: במשך מלחמת האזרחים ברוסיה הוא הקים מחתרת יהודית שפעלה לצד הצבא האדום נגד המדינאי האוקראיני סימון פטליורה, הצורר שחייליו ערכו פוגרומים שבהם נרצחו עשרות אלפי יהודים. בני הזוג פולונסקי השתתפו בקונגרס הציוני 21 באוגוסט 1939 ולא מצאו שם תשובות הולמות לשאלות הקיומיות שעמן נאלצו יהודי אירופה להתמודד באותה עת. במשך השנה שאחרי הקונגרס החמיר אף יותר מצבם של יהודי אירופה, ובני הזוג פולונסקי השתכנעו כי עליהם להקים את המחתרת. הם המציאו את השם "היד החזקה", שמצד אחד הזכיר את הפסוק מהתנ"ך "ביד חזקה ובזרוע נטויה", ומאידך גיסא קבע חד-משמעית שעל כל מהלומה נגד היהודים, היהודים ישיבו במהלומה משלהם.
בפגישה בין הזוגות קנוט ופולונסקי הוחלט להקים מחתרת צבאית ציונית ונוסחו המטרות העיקריות של המחתרת — הן הגנה והן התקפה, ואופן הפעולה: הגוף יהיה חשאי לחלוטין, החברים נדרשים לנאמנות ולשמירה על משמעת מוחלטת. המחתרת תורכב מתאים, כל תא ייקרא "מבצר". חברי "מבצר" אחד לא יידעו דבר על חברי ה"מבצרים" האחרים. אחרי הפגישה אברהם הציע ללוסיין לובלין, שהיה חבר טוב שלו מסוף שנות ה-20, להצטרף לפיקוד המחתרת, ולובלין נעתר להצעה. לובלין היה ציוני מסור, חבר במפלגת פועלי ארץ ישראל. החברות בין פולונסקי ללובלין החלה בעבודתם המשותפת בהסתדרות הסטודנטים היהודים שבטולוז. באמצע אוגוסט 1940 נערכה פגישה נוספת של קבוצת חברים קטנה במטרה לדון על המשך הדרך. לצורך הדיון כתבה אז'ני פולונסקי בהנחייתו של אברהם מסמך שטען כי היהודים חייבים להשיב מלחמה שערה ולהבהיר לאויב כי הפגיעה ביהודים אינה משתלמת. יתר על כן, המסמך מוכיח שהדרך היחידה לעשות זאת היא הקמת המחתרת.
בפגישה השתתפו הזוגות קנוט ופולונסקי, לובלין, אחותה של אז'ני פולונסקי, סוניה גרונר, ולאונרד (לייב) זופרנר, איש השומר הצעיר. זופרנר היה חבר טוב של פולונסקי מאמצע שנות ה-30, עת עבדו יחד במפעל החנקן בטולוז. בפגישה פורטו מטרותיה של המחתרת, שעיקריהן היו סיוע לכל יהודי להינצל מהסכנות המאיימות עליו בצרפת הכבושה, מאבק נגד הנאצים, והקמת מדינה יהודית בארץ ישראל. במהלך החודש הבא הצטרפו לגוף המייסד לייבה גולנדס, אלברט כהן, בעתיד הקשר האישי של פולונסקי, וזלוצקי (שלושתם עבדו במפעל להרכבת מקלטי רדיו "רדיה", שהקימו בני זוג פולונסקי) וגם דיקה יפרויקין, חבר קרוב של לובלין ונציג הג'וינט בצרפת. המפעל "רדיה" עתיד היה לתת כיסוי לפעולות מחתרתיות רבות ולספק מכשירי קשר לאנשי מחתרת.
באוקטובר 1940 הוקם ה"מבצר" הראשון של "היד החזקה" בטולוז. שרה קנוט הייתה המפקדת של ה"מבצר". מטעמי חשאיות אימצו אנשי המחתרת לעצמם שמות מחתרתיים: שרה קנוט — "רג'ין", דוד קנוט — "הסופר X", אברהם פולונסקי — "פול", אז'ני פולונסקי — "בת מתתיהו", אלברט כהן — "בבה". מבנה ה"מבצרים" איפשר למדר לא רק את ה"מבצרים" אלא אף את המחלקות בתוך ה"מבצר". קשר עם המרכז התבצע באמצעות קשרים. במקביל לבניית ה"מבצר" החלו פולונסקי וקנוט לעניין קבוצות צעירים. התברר שרוב הצעירים אינם מוכנים למסגרת לוחמת חשאית – היה צורך להכשירם. דוד קנוט ופאול רויטמן נפגשו עם צעירים יהודים בבית הכנסת בטולוז. רויטמן ארגן חוג לימודי יהדות. בין המשתתפים בחוג היו שרה ודוד קנוט וקלוד ויז'ה. בחוג למדו נושאים שונים שעניינו את המשתתפים: היסטוריה ציונית, קורות חייו של ההיסטוריון והמצביא היהודי בתקופת המרד הגדול יוסף בן מתתיהו, תולדות בתי הכנסת באירופה, ועוד. קבוצות צעירים שעברו הכנה בחוגים כאלה נקראו "בני דוד". רנה פוזננסקי כותבת שבחורף 1941 "בני דוד" התגבשה כבר כתנועה לאומית לפעילות יהודית (The National Movement for Jewish Action). מאוחר יותר התנועה הצטרפה ל"צבא היהודי".
מרים דגן, בתה של שרה קנוט, שהתגוררה באותו זמן בביתם של אמה ודוד קנוט, מספרת על תהליך הגיוס של חברים חדשים למחתרת: "שרה ודוד קנוט חיפשו אנשים מתאימים לפעילות במחתרת. הם הכירו אנשים, ביררו פרטים עליהם, שוחחו איתם בנושאים יום-יומיים, נפגשו איתם כמה פעמים, שאלו שאלות פשוטות — הכל בניסיון להבין את הבן אדם לפי תגובתו... רק כשהיו בטוחים שהבחירה נכונה, הם הציעו למתגייס לעבור טקס השבעה". אברהם פולונסקי, מפקד "הצבא היהודי", היה הדמות הממודרת ביותר. רבים מחברי המחתרת העידו כי הכירו אותו רק שנים לאחר המלחמה. אלברט כהן, שהיה איש הקשר האישי שלו, העיד: "קנוט הציג אותי לקבוצת "היד החזקה" ונשבעתי בחדר מוזר. זו הייתה קבוצה מאוד סגורה, ויום אחד הובלתי לפולונסקי מבלי שנאמר לי שהוא המפקד".
בסוף 1941 כתב דוד קנוט את החוברת "מה לעשות" (בצרפתית "?Que faire"), שבה הניח את היסודות האידאולוגיים והארגוניים של המחתרת היהודית:
כאשר גדל מספר המשתתפים במחתרת "היד החזקה", היא קיבלה שם חדש — "הצבא היהודי". על פי האתר של מוזיאון הלוחם היהודי במלחמת העולם השנייה, ארגון "הצבא היהודי" היה החשוב והמשמעותי מבין ארגוני המחתרת וההתנגדות היהודיים בצרפת.
השבועה.
לשבועה היה חלק חשוב מאוד בחיי הארגון: ההצטרפות אליו חייבה שבועת אמונים. אברהם פולונסקי טען שדוד קנוט ניסח את שבועת המחתרת. פולונסקי גם הביא את נוסח השבועה:
השבועה הייתה חלק שלא ניתן היה לוותר עליו. היו חברים או קבוצות שבמשך תקופה השתתפו בפעילות "הצבא היהודי" ללא שבועה, אך בשלב כלשהו נדרשו להישבע. ל"צבא היהודי" גויסו גם מרכיבים לא-ציוניים. חברי הצופים היהודיים שהתגייסו ל"צבא היהודי" נשבעו ללא החלק של "ארצי היא ארץ-ישראל". על-פי ענת גואטה, כל חברי הארגון ציינו כי השבועה הייתה מרגשת, סמלית ומחייבת מאוד. טקס ההשבעה נערך רק על ידי חברי המפקדה המרכזית בטולוז, אשר שרה קנוט הייתה אחת מהם. במקרים שהיה חשש כי ההשבעה תחשוף אנשים, או הדרכים היו קשות למעבר ומסוכנות, הגיע חבר ההנהגה להשביע במקום הגיוס. כך נסעה שרה קנוט כדי להשביע את סרג' פרל. להלן סיפורו של פרל על הטקס, כפי שמביאה אותו אנני לטור בספרה. כאשר שרה קנוט החלה להקריא את מילות ההשבעה, פרל הפסיק אותה ושאל האם יש לה מילים בעברית. כשהתברר שהוא יודע עברית, היא אמרה שאין לה זכות לקבל את השבעתו; הוא צריך להישבע בפני מי שיודע עברית. היא דחתה את הטקס ואמרה "העובדה שאני לא יודעת עברית מוכיחה שחינכו אותי גרוע". סרג' פרל היה פטור מהשבעה, אבל השתתף ב"צבא היהודי".