El álbum debut del grupo, Music from the Penguin Cafe, una colección de piezas grabadas en 1974-76, fue lanzado en 1976 en el sello experimental Brian Occupa Records, una rama de EG.