Som pianist var Borge ofte å se som akkompagnatør for norske og utenlandske solister. Sent i 1920-årene var hun medlem av jazzbandet Big Ben Jazzband i Hamar. Hun ble også med da bandlederen, klarinettisten Einar Bjærke dannet Bjærkes orkester i 1930.