Su primer álbum When I said I wanted to be your dog fue lanzado en el año 2004 e incluyó algunos tracks de sus primeras grabaciones.