Harro von Hirschheydt stammte aus einer deutsch-baltischen Pastorenfamilie. Seit 1931 verbrachte er seine Kindheit in der kurländischen Kleinstadt Hasenpoth (Aizpute), wo sein Vater Walter als Pastor und Lehrer wirkte. Die ersten schulischen Unterweisungen erhielt er durch seine Mutter Benita. Von 1933 bis 1939 besuchte er die deutsche Grundschule in Hasenpoth und anschließend das Gymnasium in der benachbarten Stadt Goldingen (Kuldīga). Ende 1939 musste die Familie in Folge des Deutsch-Sowjetischen Grenz- und Freundschaftsvertrags das Land verlassen. Die Umsiedlung führte die Familie in den Warthegau. Von 1940 bis 1943 besuchte er die Oberschule in Gnesen (Gniezno). 1943 wurde er zum Wehrdienst eingezogen und geriet 1944 in amerikanische Kriegsgefangenschaft, die bis 1946 andauerte. Erst 1947 konnte er das Abitur in Hildesheim ablegen.