Til tross for disse blomstrende bekvemmelighetene fikk byen en beryktet skandale i 1845-1846 de grusomme forholdene som fanger i arbeidshus ble utsatt. Arbeidshus-skandalen i Andover avslørte bevis på juling of fysisk mishandling, sult, seksuell mishandling og generell umenneskelig behandling av fattige i arbeidshus. John Walter, redaktør av , var en uttalt kritiker av fattiglovene og ga særlig oppmerksomhet til denne saken. Parlamentet ble tvunget til å opprette en egen komité for å undersøke forholdene, og skandalen førte direkte til reformer av fattiglovene.