El 9 de abril de 1874, Perry se casó con Thomas Sergeant Perry, un erudito y lingüista graduado en Harvard.