Tschudi ble født i Tønsberg og var av sveitsisk opphav. Hans far, Peter Tschudi (1812-1900), eide Valløe gård i Sem utenfor Tønsberg by.