સાર્જન્ટના પિતા, ફિટ્ઝવિલમ સાર્જેન્ટ, એક ડોક્ટર બન્યા હતા અને સાર્જન્ટની માતા, મેરી ન્યૂબોલ્ડ સિંગર સાથે 1850 માં લગ્ન કર્યા હતા.