1875年にシルスビーは、影響力のある弁護士で政治家でもあったチャールズ・ボールドウィン・セズウィック()の娘、アンナ・ボールドウィン・セズウィック(anna baldwin sedgwick)と結婚した。