Durante el periodo de lanzamiento de Parallel Universe, The Church volvió al estudio para grabar un nuevo álbum, titulado Forget Yourself.