Sin embargo, al estallar la Guerra de Secesión, la familia McIlhenny tuvo que abandonar la Isla de Avery hasta que el conflicto acabara.