Pastor John Wilson og Arthur Dimmesdale ved Hesters kirke stiller spørsmål til henne, men hun nekter å navngi kjæresten sin. Etter at hun kommer tilbake til fengsel, bringer fangevokteren inn Roger Chillingworth, som nå har funnet seg arbeid som doktor, for å berolige Hester og barnet hennes. Han krever å vite hvem kjæresten hennes var. Men Hester nekter å røpe dette. Han sier at han uansett kommer til finne ut av det, og tvinger henne til å skjule at han er ektemannen hennes. Etter at hun ble løslatt fra fengsel, bosetter Hester seg i en hytte i utkanten av byen og tjener et lite levebrød med håndarbeid. Hun lever et stille, dystert liv sammen med sin datter Pearl, og utfører veldedighet for fattige.