Forældrene var justitiarius ved Hofretten i Christiania, etatsråd Peter Tønder von Koss (1755-1793) og Hippolyta Christine f. Rye (1760-1823). Koss, der blev student fra Herlufsholm 1804 og juridisk kandidat 1807, trådte 1812 i udenrigsdepartementets tjeneste og ansattes først som legationssekretær i Kassel, hvor han forblev til 1814. I de følgende 2 år blev han dels anvendt til flere kurersendelser, dels var han sammen med baron Friedrich von Pechlin og Mathias Friis von Irgens-Bergh attacheret de danske befuldmægtigede ved fredskongressen i Wien, hvor han i 1816 blev ansat som legationssekretær og forblev til 1828, da han i samme egenskab forflyttedes til Paris. 1836 blev Koss udnævnt til kongelig dansk gesandt i sidstnævnte by, hvor han flere gange havde fungeret som chargé d'affaires og i julidagene 1830 skal have vundet kong Ludvig Philips gunst. 1842 afsluttede han på regeringens vegne en handels- og skibsfartstraktat med Frankrig og året efter en lignende traktat med Sardinien. 19. maj 1815 blev han Ridder af Dannebrog, 13. januar 1821 blev han kammerherre, 1. november 1828 Dannebrogsmand og 28. oktober 1836 Kommandør af Dannebrog. Han bar også to udenlandske ordener: Storkors af Sankt Mauritius' og Sankt Lazarus' Orden og Ridder af Leopoldsordenen (Østrig).