Som forsvarsminister ledet Olssøn opprustningen etter tilbaketoget i konsulatsaken i 1895. Under Karlstad-forhandlingene i 1905 sørget han for en viss bevoktning av grense og kyst, og fikk regjeringen med på en delvis mobilisering fra 13. september. Han støttet Karlstadkonvensjonen, som innebar demolering av grensefestningene, og han hadde støtte fra nesten hele forsvaret i synet på festningene.