Legge var to ganger gift, først med Mary Isabella Morison (1816–1852), og etter hun døde med enkefruen Hannah Mary Willetts (død 1881, født Johnstone).