En su larga carrera, Borge tocó con y dirigió orquestas como la Chicago Symphony, la New York Philharmonic y la London Philharmonic.