«Hey Baby» también toca el tema general de "Rock Steady", de la impaciencia de Stefani en su relación de larga distancia con su entonces novio Gavin Rossdale —de quien finalmente se casó en 2002—, cuando ella se sienta «sorbiendo manzanilla/viendo niños y niñas y su atracción sexual».