En 1981, Pauline Murray And The Invisible Girls lanzaron su último single "Searching For Heaven", cuya canción principal contaba con Sumner en la guitarra, aunque no fue acreditado en las fundas de las ediciones 7"y 10" en aquel entonces.