Etter å ha sett en konsert med Sex Pistols i 1976 ble hun inspirert til å danne sitt eget punkband som fikk navnet X-Ray Spex. I 1978 tok moren henne med til et sykehus der Poly ble feildiagnostisert med schizofreni og legene uttalte at hun aldri ville kunne fungere normalt. Hun ble til slutt diagnostisert med en bipolar lidelse i 1991.