The pillows publicaron el álbum de Penalty Life en noviembre del 2003 y después Good Dreams al año siguiente.