Horváth lernte Orgel am Jesuitengymnasium im ungarischen Pécs. In seiner Heimatstadt war er auch ein Schüler von Jenő Takács. Danach studierte er Klavier (bei Péter Solymos), Dirigieren (bei László Somogyi) und Komposition (bei Ferenc Szabó) an der Franz-Liszt-Musikakademie in Budapest. Nach dem Diplom mit Auszeichnung 1956 emigrierte er im Zuge des Ungarischen Volksaufstandes nach Österreich, wo er von 1957 bis 1961 am Mozarteum in Salzburg sein Studium bei Cesar Bresgen in Komposition und Kurt Leimer in Klavier sowie elektronischer Musik fortsetzte.