Nacido en Stratford (Connecticut), era hijo del general Gold Selleck Silliman y su esposa Mary Fish, viuda de John Noyes.