Erhard Hruschka wurde als ältestes von zwei Kindern des Beamten Herbert Hruschka und seiner Frau Liselotte geboren. Er wuchs im Stadtteil Johannstadt seiner Heimatstadt Dresden auf. Dort besuchte er die Grundschule und ging dort auch auf das Gymnasium. Schon früh erhielt er den Spitznamen „Hardi“. Bei den anglo-amerikanischen Angriffen auf seine Heimatstadt am 12. und 13. Februar 1945 wurde die Familie ausgebombt und verlor all ihr Hab und Gut.