Dræby ble født i København som sønn av en brennevinsprodusent. Etter å ha fullført Kiøbenhavns Skole, studerte han teologi ved Københavns Universitet. Rundt 1766 ble han ansatt som huslærer i Norge. Som huslærer for James Collett i 1760-årene hadde Dræby nær kontakt med handelsborgerne i Christiania, herunder den ledende norske familien Anker.