Era hijo de William Scoresby (1760-1829), que había hecho una fortuna con la pesca de la ballena en el Ártico.