Kühlmann stammet fra en westfalsk industrifamilie. Hans far Otto von Kühlmann (1834–1915) var advokat, generaldirektør for den anatolske jernbane og politiker. Otto von Kühlmann ble 15. juni 1892 ble opphøyd til den arvelige adelsstand. Moren var Anna Freiin von Redwitz-Schmölz (1852–1924), datter av dikteren Oskar von Redwitz.