Leibbrandt var født av etnisk tyske foreldre i nær Odessa i Zebrikovo-distriktet i Ukraina. Under første verdenskrig meldte han seg som tolk for de tyske styrkene som sto i Ukraina på Østfronten, da han snakket både tysk, russisk, ukrainsk, fransk og engelsk.