בייבי פייס נלסון
נלסון – אויב הציבור מספר 1

בזמן תקרית הירי בבוהמיה הקטנה, עובדת זהותו של נלסון והיותו נמנה עם חבורתו של דילנג'ר הייתה ידועה ל-FBI רק כשבועיים. לאחר מותו של באום, המוניטין הידוע לשמצה של נלסון החל ללכת לפניו ברחבי ארצות הברית, והוא נעשה לאחד מהמטרות הראשיות של הסוכנות הפדרלית. אין חולק כי הפוקוס עליו, והעובדה שהוא רצח סוכן פדרלי, עזרו לג'יי אדגר הובר ולמלווין פרביס להסיט את הביקורת הציבורית שנמתחה עליהם.
יום לאחר הפשיטה על מלון הבוהמיה הקטנה, דילינג'ר, המילטון וואן מטר פרצו מחסום משטרתי בקרבת הייסטינג, מדינת מינסוטה, בעוד שהשוטרים האחראים על המחסום פותחים עליהם באש. אחד מהכדורים פגע בהמילטון בגב, ופצעוהו אנושות. המילטון ככל הנראה מת מפצעיו ב-30 באפריל או 1 במאי 1934, וגופתו נקברה במקום מסתור על ידי דילינג'ר ויתר בני החבורה אליהם חבר מחדש נלסון, בעיירה אורורה, במדינת אילינוי.
ב-7 ביוני, אחד מחברי החבורה טומי קארול נהרג בקרב יריות עם המשטרה בעיר ווטרלו, שבמדינת איווה. קארול וחברתו ג'יין קרומפטון שנתפסה עם אשתו של נלסון הלן גילייס בתום תקרית הירי בבוהמיה הקטנה, התקרבו במהלך הזמן לבני הזוג נלסון, ולפיכך מותו של קארול היה מכה אישית עבורם. לאחר תקרית זאת, בני הזוג ירדו למחתרת למספר שבועות, ואף על פי שהם שהו באזור שיקגו, מיקומם המדויק במהלך תקופה זאת נותר מעורפל. על פי הגרסה הרשמית, במהלך תקופה זאת, בני הזוג נלסון חיו במספר אזורים המאוכלסים בתיירים בעיקר, אגב, פגישתם מספר פעמים רב ככל שיכלו עם קרובי משפחתם.
ב-27 ביוני, פאט ריילי המזוהה עם החבורה, ואשר היה גם אחד מהנמלטים מתקרית הירי בבוהמיה הקטנה, הוקף בשעה שישן ונלכד בחיים בעיירה סיינט פול, במדינת מינוסוטה.
בבוקרו של 30 ביוני, נלסון, דילינג'ר, ואן מטר, ועוד שותף אחד, שדדו את הבנק הלאומי של מרצ'נט בעיר סאות' בנד, במדינת אינדיאנה. האמונה היא שאחד מהמעורבים בשוד היה פריטי בוי פלויד, וזאת בהתבסס על מס' עדי ראייה, ולימים, אף על פי עדותו של ג'וזף "פאטסו" נגרי, שותפו לשעבר של נלסון מקליפורניה אשר שימש כ"קוף" בעבור בני החבורה באותו הזמן. שמועה נוספת היא שבשוד השתתף גם חבר ילדות של נלסון ג'ק פרקינס, שהיה גם שותף החבורה באותם זמנים. לימים, יהיה זה אותו פרקינס שיישפט בעבור השוד ויזוכה.
כאשר השוד החל, שוטר בשם אוורד וונגר עסק בכיוון התנועה מחוץ לבנק; בשומעו את המתרחש בבנק, הוא חש לעבר הבנק, אגב, ניסיונו לשלוף את האקדח מנרתיקו, אולם בטרם הספיק לעשות כן הוא נורה למוות על ידי ואן מטר, שהוצב על המשמר מחוץ לסניף. זאת ועוד, בשעה שהיה מחוץ לבנק בוצעו חילופי ירי בין נלסון לסוחר תכשיטים שהצליח לפגוע בנלסון בחזה - פגיעה שהייתה לא אפקטיבית בשל העובדה שנלסון לבש אפוד מגן. במטח הירי החוזר לעברו, עת שנסוג הסוחר לחנותו, נפגע אדם שהיה בתוך מכונית חונה בסמוך למקום. נלסון גם נאבק קצרות עם נער, עד אשר נלסון (או ואן מטר) היממו את הילד עם מכה מקת האקדח. כאשר דילינג'ר והאדם הנוסף המזוהה כפריטי בוי פלויד (לא וודאי) הגיחו מהבנק, שבידיהם שקים עם מזומן בסכום של 28,000$, ושלושה בני ערובה (בהם נשיא הבנק), על מנת לאפשר להם להתחמק מאש אקדחיהם של שלושה שוטרי מקוף שהגיעו לזירה. אך אף על פי כן, השוטרים לא הניחו את אקדחיהם והמשיכו לירות לעבר החבורה, פוצעים שניים מבני הערובה ופוצעים את ואן מטר בראשו. ואן מטר הצליח להתאושש, והחבורה הצליחה להימלט. באנדרלמוסיה וחילופי הירי המתמשכים, כמה עוברי אורח תמימים נפצעו מהיריות, ריקושטים וזכוכיות שבורות. ברבות הזמן הוכח כי שוד זה היה השוד האחרון שבה כל אחד מהפושעים השתתף בו אי פעם, לרבות פריטי בוי פלויד.
במהלך חודש יולי, שעה שהמרדף שניהל ה-FBI אחר נלסון לא נפסק, נלסון ואשתו נמלטו לקליפורניה עם שותפם ג'ון פול צ'ייס, שיישאר שותפו לשארית חייו של נלסון. עם חזרתם לשיקגו ב-15 ביולי, החבורה ערכה פגישת איחוד במקום מפגש מקומי שהיה חביב עליהם. בעיצומה של הפגישה, המשך מהלכה הופרע על ידי שני שוטרים מקומיים – פרד מקאליסטר וגילברט קורס. נלסון ירה לעבר רכבם עם אקדחו המיוחד שעבר הסבה לירי אוטומטי, פוצע את שניהם, בשעה שבני החבורה נסוגים ונמלטים. מבין השניים, קרוס נפגע באורח קשה, אך שני השוטרים שרדו. אחריותו של נלסון לירי לא הייתה ודאית, עד אשר הודאתו של צ'ייס בעניין.
ב-22 ביולי 1934, סוכני FBI ארבו לג'ון דילינג'ר מחוץ לתיאטרון הביוגרף בעיר לינקולן פארק, במדינת שיקגו – והרגוהו. יום למחרת, ה-FBI הודיע שפריטי בוי פלויד הוא כעת אויב הציבור מספר 1. ב-22 באוקטובר 1934, פלויד נהרג בחילופי ירי עם סוכני FBI שבהם מלווין פרביס. כתוצאה מכך, ראש הסוכנות הפדרלית ג'יי אדגר הובר הודיע על הפיכתו של "בייבי פייס" נלסון לאויב הציבור מספר 1.
ב-23 באוגוסט 1935, כוחות שיטור של העיר סנט פול, מדינת מינסוטה, ארבו והרגו את ואן מטר. ובכך, השאירו את נלסון כשריד האחרון שלמה שנתקרא "חבורתו השנייה של דילינג'ר".
בחודשים שלאחר מכן, נלסון ואשתו, אשר בדרך כלל היו מלוויים על ידי צ'ייס, נדדו לבדם לערים במערב, שביניהן, סקרמנטו וסן פרנסיסקו, קליפורניה ורינו ולאס וגאס. הם חיו בדרך כלל בחניוני לילה לרכבים, ומתווה נדידתם המדויק בתקופת זמן זו לא ידוע. וגם כאשר חזרו לשיקגו בסביבות נובמבר, הרבה לא ידוע על מיקומם, לרבות בחודש האחרון בחייו של נלסון.
לקראת סוף נובמבר, הסוכנות הפדרלית החל מוצאת יותר ויותר עניין במקום מחבואו הישן של נלסון, במלון הפונדק "לייק קומו" באגם ג'ניבה, במדינת ויסקונסין, היכן שהחוקרים בעניינו האמינו שהוא יגיע לבסוף על מנת להעביר את תקופת החורף. ואכן, בשעה שנלסון וצ'ייס הגיעו למלון הפונדק ב-27 בנובמבר, הם נתקלו פנים אל פנים בסוכני FBI מופתעים ולא מוכנים אשר ארבו לבואם באזור. השניים הספיקו להימלט לפני שירייה אחת נורתה. השניים נמלטו חמושים במכונית פורד V8 שחורה בעלת מספר רישוי 578–639, בשעה שהמוני סוכנים פדרליים הגיעו לאזור.