"Orphans" indaga en el nuevo interés del músico por la política, con el tema «Road to Peace», que relata el conflicto israelí-palestino, y es notable por contener un número considerable de versiones de otros artistas, incluyendo The Ramones («The Return of Jackie and Judy» y «Danny Says»), Daniel Johnston («King Kong»), Kurt Weill, Bertolt Brecht («What Keeps Mankind Alive») y Leadbelly («Ain't Goin' Down to the Well» y «Goodnight Irene»), así como interpretaciones de obras de poetas y autores admirados por Waits, tales como Charles Bukowski y Jack Kerouac.