Hans far, William Scoresby (1760 – 1829), tjente en formue på arktisk hvalfangst. William var med på sin første reise sammen faren da han var 11 år gammel, men fortsatt skolegangen sin etter denne turen, og fram til 1803.