Musicalmente, "Bye and Bye" es lo que Oliver Trager denomina una "balada facilona, algo que se podría esperar de Leon Redbone o, en una era anterior, de Bing Crosby." Algunos seguidores del músico han trazado la fuente original de la canción con "Having Myself a Time", tema popularizado por Billie Holiday y compuesto por Leo Robin y Ralph Rainger.