Silliman y su esposa tuvieron cuatro hijos: una de sus hijas se casó con el profesor Oliver P.