Collier se casó con dos de sus hijas y estaba «en relación de íntima amistad» («on terms of intimate friendship») con su hijo, el escritor Leonard Huxley ("Dictionary of National Biography" s.v.