Flisnes startet som 15-åring sitt første orkester, men fikk karrieren avbrutt av andre verdenskrig. I 1940 ble han tilknyttet den norske Brigaden i Skottland, hvor han ledet brigadens musikkorps.