I musikerkretser ble Carlsen en legende i levende live, og han var en av Oslo-Filharmoniens mest markante musikerprofiler. Under sjefdirigentene José Eibenschütz, Issay Dobrowen, Olav Kielland, Odd Grüner-Hegge, Øivin Fjeldstad og Herbert Blomstedt utfoldet han sitt åndfulle spill og representerte selve kontinuiteten i orkestrets indre liv. Erling Carlsen var en stillfarende mann med en påfallende teknisk og musikalsk sikkerhet som gjorde inntrykk på gjestende dirigenter og solister fra alle verdenshjørner.