Bowie hadde opprinnelig tenkt å slippe et album i 2000/2001 kalt «Toy». Albumet skulle inneholde noen nye sanger – samt mindre kjente sanger fra 60-tallet. En del av sangene fra dette albumet, som aldri ble utgitt, er med på Heathen. Albumet inneholder tre cover versjoner: «Cactus» av The Pixies; «I've Been Waiting for You» av Neil Young; og «I Took a Trip on a Gemini Spaceship» av the Legendary Stardust Cowboy.