Han ble født som sønn av godseieren Max von Gerlach (1832–1909) og hans hustru Welly, født Peyer (1837–1899). Familien bodde i Mönchmotschelnitz ved Winzig, dagens Wińsko, tidligere Provinsen Schlesien. Hans bestefar på farssiden var politipresident i Berlin og regjeringssjef i Köln og Erfurt, Karl von Gerlach (1792–1863). Hans oldefar på morssiden var landbruksreformatoren Johann Gottlieb Koppe (1782–1863).