New York Philharmonic
En su larga carrera, Borge tocó con y dirigió orquestas como la Orquesta Sinfónica de Chicago, la Orquesta Filarmónica de Nueva York y la Orquesta Filarmónica de Londres. Siempre modesto, se sintió honrado al ser invitado a dirigir la Orquesta Real Danesa en 1992.