Han beskrives av biograf Paul Thyness som en «fremragende militær» som «spilte en sentral, men i ettertid lite påaktet rolle» som forsvarsminister i tre ulike regjeringer 1893–1894, 1895–1898 og 1905–1907. Olssøn ledet opprustningen etter konsulatsaken i 1895 og sørget for en bevoktning av landets grense og kyst, og etter hvert en delvis mobilisering, under forhandlingene i Karlstad om unionsoppløsningen i 1905.