Anker spilte fiolin og ble ansett som en god amatørskuespiller. Et ustabilt temperament gjorde ham imidlertid upopulær i selskapslivet. Etter at kona Karen døde i 1796, bare 37 år gammel, begynte han å miste det han hadde av grep om forretningene.