霍伦斯坦在职业生涯中一直在指挥布鲁克纳和马勒的作品，他还对卡尔·尼尔森表现出持续的兴趣，在这些作曲家并不流行的时候，他就认识他们。例如，他1952年录制的马勒第九交响曲（Vox）是该作品的第一张录音室唱片，也是第二张商业唱片。几年后，他录制了布鲁克纳第九交响曲的原版。他在职业生涯的不同阶段，为马勒的几部交响曲录制了录音室录音，包括与伦敦交响乐团合作的第一和第三交响曲。一些电台档案馆保存着许多其他马勒交响曲的广播录音，以及《大地之歌》。近年来，霍伦斯坦的几场音乐会演出被BBC传奇厂牌重新发行，包括他于1959