Olsen ble ikke alltid vurdert som objektiv i sin dommergjerning. Den 22. april 1637 utstedte kongen et brev som gav Hans Tomassen på Flekkerøy anledning å anvende settedommer i en strid han hadde gående med lagmannen.