I romanen følges den desperate Jean Valjean, som stjeler et brød for sin sultende søster og hennes barn. Han blir tatt og dømt til å sone fire år i fengsel. Han prøver gjentatte ganger å rømme (og får lagt til tid i sin soning for hvert fluktforsøk), før han endelig slipper ut 19 år etter domfellelsen.