Peter Tønder von Koss stammet fra en tysk adelsfamilie fra Mecklenburg. Han var sønn av offiseren Joseph Albrecht von Koss (1706–1766) og Fredrikke Tønder (1734–1793). Faren var ved sønnens fødsel kompanisjef for 1. nedenesske kompani. Etter mannens død ble moren i 1770 gift igjen med justisråd Christopher Henrik Reusch. I 1786 ble Peter Tønder von Koss gift med Hippolyta Christine Rye (1760–1823), datter av en skredder i København. De hadde fem barn, som alle slo seg ned i Danmark eller Tyskland. Sønnen Joseph Albrecht Christopher von Koss (1787–1858) var diplomat i dansk tjeneste.