Dreier ble født i Trondheim i 1775 av foreldrene Tørris Haftorsen Dreier og Karen Benjaminsdatter Blostrup. Det var meningen at han skulle følge i sin fars fotspor og bli malermester, men slik ble det ikke. Allerede som ung begynte han å tegne, og det finnes flere bevarte tegninger fra hans hånd, bl.a. et portrett av familien Weybye fra 1789.