Οι "Άθλιοι" περιλαμβάνουν μία σειρά ιστοριών, συνδετικός άξονας των οποίων είναι αυτή του πρώην καταδίκου Γιάννη Αγιάννη, γνωστού στη φυλακή με τον αριθμό 24601, ο οποίος γίνεται μία δύναμη του καλού πάνω στη γη, χωρίς όμως να μπορεί να ξεφύγει από το παρελθόν του. Το μυθιστόρημα απαρτίζεται από πέντε μέρη, το καθένα από τα οποία χωρίζεται σε βιβλία, τα οποία με τη σειρά τους χωρίζονται σε κεφάλαια. Κάθε κεφάλαιο είναι σχετικά μικρό, συνήθως απαρτίζεται από μερικές σελίδες. Ωστόσο το βιβλίο στο σύνολο του είναι αρκετά μεγάλο για τα συνήθη δεδομένα, καθώς ξεπερνά τις χίλιες διακόσιες σελίδες στις πλήρεις εκδόσεις του. Στα πλαίσια της κεντρικής ιστορίας, ο Ουγκώ γεμίζει αρκετές σελίδες με τις σκέψεις του σχετικά με τη θρησκεία, την πολιτική και την κοινωνία, περιλαμβάνοντας τρεις εκτεταμένες παρεκβάσεις: μία συζήτηση για τις θρησκευτικές αρχές, μια άλλη για την αργκό, καθώς και τη γνωστή επική εξιστόρηση της μάχης του Βατερλώ.