Bastards omhandlar Waits sin meir eksperimentelle musikkstil og opnar med ein versjon av Bertolt Brecht sitt dikt «What Keeps Mankind Alive?» (musikk av Kurt Weill) og held fram med «Children's Story», som er eit uttdrag av skodespelet Woyzeck av Georg Büchner, som òg var grunnlaget for Waits-albumet Blood Money. Plata inneheld òg andre dikt som er Waits har sett musikk til, som eit Charles Bukowski-dikt om opplysing («Nirvana») og to songar «Home I'll Never Be» og «On the Road» med tekst av Jack Kerouac.