Roll var sønn av ordfører i Trondhjem Jacob Roll i hans tredje ekteskap med Nicoline Brog Selmer og dermed en yngre halvbror av industrilederen Oluf Nicolai Roll. Han ble første gang gift i 1861 med Louise Krebs (1838-62), datter av byråsjef i Justisdepartementet Christian August Krebs og Henriette Elisabeth Scheel. Og annen gang ble han gift i 1871 med sin første hustrus kusine, Sophie Nicoline Knudtzon (1845-1928), datter av korpslege Christian Frederik Knudtzon og Annette Sophie Augusta Scheel. Forfatteren Nini Roll Anker var datter av Ferdinand Roll og hans annen hustru.