Conway begynte som lærer på Redland High School i Bristol, hvor hun ble inspirert til å slutte seg til i Bristol Socialist Society etter å ha overvært en demonstrasjon av streikende kvinnelige tekstilarbeidere. Hun flyttet inn hos Dan Irving hvor hun også måtte pleie hans kone. På denne tiden hun ble med i Fabian Society. Hun begynte å holde foredrag for organisasjonen, og i 1893 ble hun en av grunnleggerne av Independent Labour Party (ILP). Hun var en av 15 medlemmer, og den eneste kvinne valgt til ILP første nasjonale administrative råd i januar 1893.