Til tross for sin kjærlighet til Jude, er Sue fortsatt veldig ubekvem med idéen om samleie med ham. Kort etter kommer Arabella tilbake fra Australia. Arabella og Jude skiller seg, og likeledes får Sue en skilsmisse fra Phillotson. Derpå forteller Arabella at hun fødte Jude sin sønn åtte måneder etter deres adskillelse, og hun sender gutten til Jude. Gutten preges av seriøsitet og mangel på humor. Jude overtaler til slutt Sue om å gå inn i et seksuelt forhold med ham, noe Sue går med på, men hun er fortsatt uvillig til å inngå i et ekteskap med ham. De får to barn sammen. Jude og Sue og de tre barna lever sammen i armod. Både Jude og Sue er stadig ute av stand til å finne arbeid grunnet deres levemåte.