Tønder var sønn av kontreadmiral Raphael Henrich Tønder, av slekten Tønder. Han ble uteksaminert privat med beste karakter til universitetet i 1790. Han ble forelsket i en jente, men foreldrene hans ville ikke godkjenne denne forbindelsen, og han brøt derfor med dem. Tønder levde siden et urolig liv bestående av en rekke reiser i Asia og Amerika.