L'orchestre a d'abord été créé et basé à Baden près de Vienne par des musiciens hongrois qui avaient fui leur pays qui avait été envahi par les troupes soviétiques. Cet ensemble de réfugiés a réuni certains des meilleurs talents musicaux de la Hongrie. Il était dirigé entre autres par , ancien chef de l'Orchestre de la Philharmonie nationale hongroise. Grâce aux efforts ardents de Rozsnyai et du président d'honneur Antal Doráti, le Philharmonia Hungarica est rapidement devenu l'un des orchestres de premier plan en Europe. Au cours des années 1970, Doráti et l'orchestre, sous contrat avec Decca Records, ont fait un enregistrement du cycle complet des symphonies de Joseph Haydn; un seul autre groupe, l'Orchestre Haydn austro-hongrois, dirigé par Ádám Fischer, a depuis répété cet exploit. L'enregistrement de Doráti a été largement présenté comme une première mondiale. Cependant Ernst Märzendorfer avait auparavant enregistré les symphonies de Haydn avec l'Orchestre de chambre de Vienne, mais l'enregistrement n'avait connu qu'une diffusion très limitée.