Ved stortingsvalget i 1894 valgte Høyre flere arbeiderrepresentanter, og Thoresen ble oppfattet som en leder for dem, men avviste selv at de opptrådte som noen gruppe. De var stort sett pietister og hadde et paternalistisk syn på arbeidsgiverne. Thoresen var skeptisk til fagorganisering, påbud om fabrikktilsyn og forbud mot barnearbeid og nattarbeid for ungdom, sannsynligvis i redsel for arbeidsløshet. De konservative arbeiderforeningene av 1894 organiserte seg i det som senere ble Norges Borgerlige Arbeiderorganisasjon.