Conrad kom fra en gammel offisersfamilie på farssiden, hvor faren Franz Xaver Conrad (1793–1878), opprinnelig fra det sørlige Mähren, hadde deltatt i folkeslaget ved Leipzig og ble senere alvorlig skadet i revolusjonurolighetene i 1848. Han ble pensjonert som husar-oberst. Moren var datter av en kjent østerriksk kunstner. Hans oldefar hadde blitt adlet i 1816, og føyde da til hans hustrus familienavn «von Hötzendorf» som et adelspredikat.