Hans son, Richard Arnold, var brigadgeneral i unionsarmén under amerikanska inbördeskriget. Hans dotter, Sally Lyman Arnold, var gift med brigadgeneralen i unionsarmén Isaac P. Rodman, som blev dödligt sårad vid Slaget vid Antietam.