Después de pasar por varias promociones, como la de director asistente a cargo de la seguridad nacional en 1999 y jefe de la oficina del FBI en Nueva York a principios de 2000, a O'Neill le complació ser asignado como comandante de la investigación del FBI sobre el atentado suicida contra el USS "Cole", ocurrido en octubre de 2000 en aguas de Yemen. Sin embargo, al llegar al país árabe, se quejó de una seguridad inadecuada. Mientras su equipo investigaba el atentado, O'Neill entró en conflicto con Barbara Bodine, la embajadora de Estados Unidos en Yemen. Los dos tenían puntos de vista muy divergentes sobre cómo manejar las búsquedas de bienes yemeníes y las entrevistas con ciudadanos y funcionarios gubernamentales, y solo se fueron distanciando a medida que avanzaba el tiempo.