שלוש מהנשים שנלוו לחבורתו של נלסון, לרבות אשתו של נלסון הלן גיליס, נלכדו על ידי הסוכנים הפדרליים במלון. לאחר חקירה מתישה על ידי ה-FBI, השלוש הורשעו בעבירות על תנאי ושוחררו בערבות.
עם סוכן הרוג, עובר אורח תמים הרוג, ארבעה פצועים, לרבות, שני עוברי אורח נוספים, בריחתם של כל החברים בחבורתו של דילינג'ר, ה-FBI היה נתון לביקורת ציבורית חסרת תקדים בעוצמתה, כאשר ברקע נשמעו קריאות לג'יי אדגר הובר להתפטר ונחתמה עצומה להשעייתו של מלווין פרביס.
נלסון – אויב הציבור מספר 1.
בזמן תקרית הירי בבוהמיה הקטנה, עובדת זהותו של נלסון והיותו נמנה עם חבורתו של דילנג'ר הייתה ידועה ל-FBI רק כשבועיים. לאחר מותו של באום, המוניטין הידוע לשמצה של נלסון החל ללכת לפניו ברחבי ארצות הברית, והוא נעשה לאחד מהמטרות הראשיות של הסוכנות הפדרלית. אין חולק כי הפוקוס עליו, והעובדה שהוא רצח סוכן פדרלי, עזרו לג'יי אדגר הובר ולמלווין פרביס להסיט את הביקורת הציבורית שנמתחה עליהם.
יום לאחר הפשיטה על מלון הבוהמיה הקטנה, דילינג'ר, המילטון וואן מטר פרצו מחסום משטרתי בקרבת הייסטינג, מדינת מינסוטה, בעוד שהשוטרים האחראים על המחסום פוצחים עליהם באש. אחד מהכדורים פגע בהמילטון בגב, ופצעוהו אנושות. המילטון ככל הנראה מת מפצעיו ב-30 באפריל או 1 במאי 1934, וגופתו נקברה במקום מסתור על ידי דילינג'ר ויתר בני החבורה אליהם חבר מחדש נלסון, בעיירה אורורה, במדינת אילינוי.
ב-7 ביוני, אחד מחברי החבורה טומי קארול נהרג בקרב יריות עם המשטרה בעיר ווטרלו, שבמדינת איווה. קארול וחברתו ג'יין קרומפטון שנתפסה עם אשתו של נלסון הלן גילייס בתום תקרית הירי בבוהמיה הקטנה, התקרבו במהלך הזמן לבני הזוג נלסון, ולפיכך מותו של קארול היה מכה אישית עבורם. לאחר תקרית זאת, בני הזוג ירדו למחתרת למספר שבועות, ואף על פי שהם שהו באזור שיקגו, מיקומם המדויק במהלך תקופה זאת נותר מעורפל. על פי הגרסה הרשמית, במהלך תקופה זאת, בני הזוג נלסון חיו במספר אזורים המאוכלסים בתיירים בעיקר, אגב, פגישתם מספר פעמים רב ככל שיכלו עם קרובי משפחתם.
ב-27 ביוני, פאט ריילי המזוהה עם החבורה, ואשר היה גם אחד מהנמלטים מתקרית הירי בבוהמיה הקטנה, הוקף בשעה שישן ונלכד בחיים בעיירה סיינט פול, במדינת מינוסוטה.
בבוקרו של 30 ביוני, נלסון, דילינג'ר, ואן מטר, ועוד שותף אחד, שדדו את הבנק הלאומי של מרצ'נט בעיר סאות' בנד, במדינת אינדיאנה. האמונה היא שאחד מהמעורבים בשוד היה פריטי בוי פלויד, וזאת בהתבסס על מס' עדי ראייה, ולימים, אף על פי עדותו של ג'וזף "פאטסו" נגרי, שותפו לשעבר של נלסון מקליפורניה אשר שימש כ"קוף" בעבור בני החבורה באותו הזמן. שמועה נוספת היא שבשוד השתתף גם חבר ילדות של נלסון ג'ק פרקינס, שהיה גם שותף החבורה באותם זמנים. לימים, יהיה זה אותו פרקינס שיישפט בעבור השוד ויזוכה.
כאשר השוד החל, שוטר בשם אוורד וונגר עסק בכיוון התנועה מחוץ לבנק; בשומעו את המתרחש בבנק, הוא חש לעבר הבנק, אגב, ניסיונו לשלוף את האקדח מנרתיקו, אולם בטרם הספיק לעשות כן הוא נורה למוות על ידי ואן מטר, שהוצב על המשמר מחוץ לסניף. זאת ועוד, בשעה שהיה מחוץ לבנק בוצעו חילופי ירי בין נלסון לסוחר תכשיטים שהצליח לפגוע בנלסון בחזה - פגיעה שהייתה לא אפקטיבית בשל העובדה שנלסון לבש אפוד מגן. במטח הירי החוזר לעברו, עת שנסוג הסוחר לחנותו, נפגע אדם שהיה בתוך מכונית חונה בסמוך למקום. נלסון גם נאבק קצרות עם נער, עד אשר נלסון (או ואן מטר) היממו את הילד עם מכה מקת האקדח. כאשר דילינג'ר והאדם הנוסף המזוהה כפריטי בוי פלויד (לא וודאי) הגיחו מהבנק, שבידיהם שקים עם מזומן בסכום של 28,000$, ושלושה בני ערובה (בהם נשיא הבנק), על מנת לאפשר להם להתחמק מאש אקדחיהם של שלושה שוטרי מקוף שהגיעו לזירה. אך אף על פי כן, השוטרים לא הניחו את אקדחיהם והמשיכו לירות לעבר החבורה, פוצעים שניים מבני הערובה ופוצעים את ואן מטר בראשו. ואן מטר הצליח להתאושש, והחבורה הצליחה להימלט. באנדרלמוסיה וחילופי הירי המתמשכים, כמה עוברי אורח תמימים נפצעו מהיריות, ריקושטים וזכוכיות שבורות. ברבות הזמן הוכח כי שוד זה היה השוד האחרון שבה כל אחד מהפושעים השתתף בו אי פעם, לרבות פריטי בוי פלויד.
במהלך חודש יולי, שעה שהמרדף שניהל ה-FBI אחר נלסון לא נפסק, נלסון ואשתו נמלטו לקליפורניה עם שותפם ג'ון פול צ'ייס, שיישאר שותפו לשארית חייו של נלסון. עם חזרתם לשיקגו ב-15 ביולי, החבורה ערכה פגישת איחוד במקום מפגש מקומי שהיה חביב עליהם. בעיצומה של הפגישה, המשך מהלכה הופרע על ידי שני שוטרים מקומיים – פרד מקאליסטר וגילברט קורס. נלסון ירה לעבר רכבם עם אקדחו המיוחד שעבר הסבה לירי אוטומטי, פוצע את שניהם, בשעה שבני החבורה נסוגים ונמלטים. מבין השניים, קרוס נפגע באורח קשה, אך שני השוטרים שרדו. אחריותו של נלסון לירי לא הייתה ודאית, עד אשר הודאתו של צ'ייס בעניין.
ב-22 ביולי 1934, סוכני FBI ארבו לג'ון דילינג'ר מחוץ לתיאטרון הביוגרף בעיר לינקולן פארק, במדינת שיקגו – והרגוהו. יום למחרת, ה-FBI הודיע שפריטי בוי פלויד הוא כעת אויב הציבור מספר 1. ב-22 באוקטובר 1934, פלויד נהרג בחילופי ירי עם סוכני FBI שבהם מלווין פרביס. כתוצאה מכך, ראש הסוכנות הפדרלית ג'יי אדגר הובר הודיע על הפיכתו של "בייבי פייס" נלסון לאויב הציבור מספר 1.
ב-23 באוגוסט 1935, כוחות שיטור של העיר סנט פול, מדינת מינסוטה, ארבו והרגו את ואן מטר. ובכך, השאירו את נלסון כשריד האחרון שלמה שנתקרא "חבורתו השנייה של דילינג'ר".
בחודשים שלאחר מכן, נלסון ואשתו, אשר בדרך כלל היו מלוויים על ידי צ'ייס, נדדו לבדם לערים במערב, שביניהן, סקרמנטו וסן פרנסיסקו, קליפורניה ורינו ולאס וגאס. הם חיו בדרך כלל בחניוני לילה לרכבים, ומתווה נדידתם המדויק בתקופת זמן זו לא ידוע. וגם כאשר חזרו לשיקגו בסביבות נובמבר, הרבה לא ידוע על מיקומם, לרבות בחודש האחרון בחייו של נלסון.
לקראת סוף נובמבר, הסוכנות הפדרלית החל מוצאת יותר ויותר עניין במקום מחבואו הישן של נלסון, במלון הפונדק "לייק קומו" באגם ג'ניבה, במדינת ויסקונסין, היכן שהחוקרים בעניינו האמינו שהוא יגיע לבסוף על מנת להעביר את תקופת החורף. ואכן, בשעה שנלסון וצ'ייס הגיעו למלון הפונדק ב-27 בנובמבר, הם נתקלו פנים אל פנים בסוכני FBI מופתעים ולא מוכנים אשר ארבו לבואם באזור. השניים הספיקו להימלט לפני שירייה אחת נורתה. השניים נמלטו חמושים במכונית פורד V8 שחורה בעלת מספר רישוי 578–639, בשעה שהמוני סוכנים פדרליים הגיעו לאזור.
מותו של נלסון: הקרב של ברינגטון – הגרסה הרשמית.
"הקרב של ברינגטון" (מאנגלית: "The Battle of Barrington") הוא שם שניתן לקרב יריות שהתרחש ב-27 בנובמבר 1934 בין סוכני FBI ובייבי פייס נלסון מחוץ לעיר שיקגו, בעיירה ברינגטון, אשר הסתיים במותו של נלסון ושני סוכני ה-FBI הרמן "אד" הוליס וסמואל פי. קאוולי.
בליל יום שני, 26 בנובמבר 1934, נלסון, הלן וג'ון פול צ'ייס היו מחוץ לשיקגו בטנדר מסוג פורד שצ'ייס השיג בשביל נלסון מס' ימים מוקדם יותר. בשעות הערב המוקדמות של אותו לילה, צייס ונלסון גנבו מכונית פורד סדאן V8 שחורה. המכונית נגנבה מרחוב צדדי, ודווחה כגנובה יום למחרת על ידי בעליה החוקיים.
בשעות הערב המאוחרות יותר באותו הלילה, השלושה פגשו בקלארנס לידר וג'וזף ריימונד נגרי באוטוסטראדה הצפון-מערבית מחוץ לשיקגו. לידר ונגרי היו שודדים פרילנסרים, ונגרי עבד עם נלסון במס' פשעים עוד שהאחרון היה עוד בתחילת קריירת הפשע שלו. האמונה היא שהוא השתתף עם נלסון במס' מקרי שוד בשבועות העוקבים לפני מותו. ברבות הזמן, לכשייתפס מס' חודשים מאוחר יותר, ישתמש נגרי – הידוע בכינויו "Fatso" (על שום חזותו השמנמנה) – בידע שלו אודות נלסון ואחרים על מנת להמתיק את גזר דינו. במהלך הפגישה שנערכה באותו לילה, נלסון נתן ללידר כסף לצורך רכישה של כמות גדולה של תחמושת. השניים הסכימו להיפגש בלילה שלאחר מכן לצורך העברת הסחורה.
בוקרו של יום שלישי, 27 בנובמבר 1934, היה קר ומעונן. התחזית הייתה כי בשעות אחר הצהריים עלול לרדת שלג קל. השלושה אשר שהו בבקתה באגם ג'ניבה, במדינת וויסקונסין התעוררו בשעות הצהריים. הלן הכינה ארוחת בוקר קלה, שעה שנלסון וצ'ייס עשו תוכניות לחזור אחורה לשיקגו. הם היו צריכים לפגוש מס' אנשים והם היו צריכים להגיע לפגישה עם לידר ונגרי לצורך קבלת התחמושת. נלסון, מתוקף היותו עכשיו "אויב הציבור מספר 1", ובשל כך, האדם המבוקש ביותר באמריקה, החליט שזה יהיה דווקא יותר חכם לנוע בשעות היום מאשר בשעות הלילה, מכיוון שדווקא אלו השעות שהמשטרה לא תצפה ממנו לנוע בהן. הם עזבו בתוך שעה, ובשעות אחר הצהריים המאוחרות יותר הם נצפו לזמן קצר ליד ביתו של הוברט הרמאנסן ליד אגם קומו, וויסקונסין.
בינתיים, בשיקגו, הסוכנים הפדרליים המיוחדים ויליאם ריין ותומאס מקדייד עסקו בחקירת חטיפתו של ארתור ברמר. כאשר הם יצרו קשר עם המשרד, ראש המשרד בשיקגו הפקח סמואל פ. קאוולי, הורה לשניים להגיע באופן מיידי לאזור אגם ג'ניבה. הוא ציין בפניהם כי הם עתידים לפגוש שם שלושה סוכנים נוספים הנמצאים כבר בשטח, והם צפויים לקחת חלק במצוד אחר נלסון, שה-FBI יודע שהוא מצוי באזור. קאוולי ציין בנוסף כי הוא ושלושה סוכנים נוספים גם בדרך לשם.