Abel ble gift med Anne Marie Simonsen, en kjøpmannsdatter fra Risør, i 1800. Han var far til den berømte matematikeren Niels Henrik Abel (1802–1829).