Μέλος της ευγενούς οικογένειας Σίραχ, σορβικής δυτικής σλαβικής καταγωγής, τρεις από τους τέσσερις παππούδες του ήταν από τις Ηνωμένες Πολιτείες, κυρίως από την Πενσυλβάνια. Μέσω της μητέρας του, ο Σίραχ ήταν απόγονος του Τόμας Χέιγουορντ Τζούνιορ και έμμεσος απόγονος του Άρθουρ Μίντλτον, δύο υπογραφόντων της Διακήρυξης Ανεξαρτησίας των Ηνωμένων Πολιτειών. Η αγγλική ήταν η πρώτη γλώσσα, που έμαθε στο σπίτι, και έμαθε να μιλά γερμανικά μόλις στα πέντε του χρόνια. Είχε δύο αδελφές, τη Βικτόρια και την τραγουδίστρια της όπερας Ρόζαλιντ φον Σίραχ, και έναν αδελφό, τον Καρλ Μπένεντικτ φον Σίραχ. Ο αδελφός του αυτοκτόνησε το 1919 σε ηλικία 19 ετών.