Czernin ble født i Dymokury (tysk: Dimokur) i en gammel böhmisk adelsfamilie. I 1897 giftet han seg med Marie Gräfin Kinsky von Wchinitz und Tettau (1878–1945) i Heřmanův Městec (tysk: Hermannstädtel). Hans yngre bror Otto von Czernin var også diplomat og tjenestegjorde blant annet som utsending til Sofia under første verdenskrig.