Olson skrev mye, og blant det han skrev er seks utgaver av salmebøker på swahili. Selv oversatte og skrev han mange salmer, og en av hans oversettelser finnes blant annet i og .