Tønsberg mottok en rekke utenlandske ordener for sitt virke. Han var kommandør av Den afrikanske frigjøringsordenen (Liberia), ridder av Dannebrogordenen, ridder av 1. klasse av Den kongelige Sankt Mikaels fortjenstorden (Bayern), ridder av Karl IIIs orden (Spania), ridder av Fredrik Is orden (Württemberg), ridder av 1. klasse av Frans Is orden (Napoli eller Begge Sicilier), ridder av 3. klasse av Guelferordenen (Hannover), ridder av Romanias kroneorden (Romania) og ridder av Zähringerløvens orden (Baden).