Conrad dilahirkan di Penzing, sebuah kawasan suburban di kota Wina. Keluarganya berlatar belakang perwira militer. Kakek buyutnya Franz Anton Conrad (1738–1827) memperoleh gelar kebangsawanan "von Hötzendorf" pada tahun 1815, yang mengacu kepada nama belakang istri pertamanya yang merupakan keturunan Pfalz Hulu di Bayern. Ayahnya Franz Xaver Conrad (1793–1878) adalah seorang kolonel Hussar yang sudah pensiun dan berasal dari Moravia selatan. Ia pernah turut serta dalam Pertempuran Leipzig dan pemadaman Pemberontakan Wina pada tahun 1848.