La banda lanzó su primer álbum, "Great Lake Swimmers" en 2003 y "Bodies and Minds" en 2005, a través del sello independiente (weewerk) antes de firmar un contrato con Nettwerk en 2007.