Era hijo de Thomas Fearnley, un comerciante noruego de ascendencia inglesa.