Olsen skrev også poetiske tekster. Han skrev selv teksten til flere av sine operaer. En skriftsamling kalt ble utgitt etter hans død. I 1978 utga Erik Bye og Birgitte Grimstad platen med blant annet Petter Dass' tonesatt av Ole Olsen.