Después de editar sus dos primeros álbumes con la discográfica 4AD, abandonó la compañía y formó una banda de apoyo llamada Frank Black and the Catholics.