Koch-Weser ble født i Brasil, ettersom hans foreldre og besteforeldre hadde forlatt hjemlandet Tyskland på grunn av sin delvis jødiske herkomst i 1933. Han er barnebarn av Tysklands tidligere visekansler, innenriksminister og justisminister Erich Koch-Weser. Kort etter annen verdenskrigs slutt vendte familien Koch-Weser tilbake til hjemlandet.