Bernt Ankers oldefar var født i Göteborg og slo seg ned som kjøpmann i Christiania i 1660-årene. Sønnen Bernt Ancher ble sogneprest i Land, og sønnesønnen Christian Ancher fulgte i sin farfars fotspor og ble handelsmann i Christiania, hvor han slo seg opp som skipsreder og trelasteksportør. Da Bernt Anker ble født, eide faren 50 skip og var en av byens største trelasthandlere. Bernt Anker fikk en god utdannelse etter tidens standard. Etter at skolegangen var avsluttet, reiste han sammen med sine brødre i flere år rundt i Europa, og han lærte seg til sammen sju språk. Da Anker var 21 år, overtok han handelshuset sammen med sin mor, som var blitt enke, og sine to brødre, Peder og Jess. Den eldste av brødrene, Iver Ancher, døde ugift i 1772 uten å ha spilt noen rolle i familiebedriften.