在加入的5天后，他成为这个乐团的首席，然后很快便开始担任指挥的工作。奥曼迪在1923年到1929年之间以小提琴手的身分留下了16份录音，其中半数是以acoustic process的技术录制的。阿瑟·贾森（Arthur Judson）这位1930年代美国音乐界最权威的人士，对奥曼迪的音乐生涯给予相当大的助益。1931年的某一次演出前，托斯卡尼尼的健康不佳，不允许他顺利地指挥费城管弦乐团，贾森便临时安排奥曼迪上场紧急应急。这次的演出为奥曼迪赢得日后的第一份正式指挥家职务：明尼亚波利斯管弦乐团的指挥。在