En 2003, la banda lanzó un álbum en vivo (esto es, grabado en vivo con una orquesta pero sin público) titulado Sit Down and Listen to Hooverphonic, presentando una selección de temas del cuerpo de trabajo de la banda, como los temas nuevos "Antarctica" y "The Last Thing I Need Is You", y una versión de "My Autumn's Done Come" de Lee Hazlewood.