Samtidig med sin militære karrière skjøttet Olssøn politiske verv. I 1888 ble han valgt inn som medlem av Kristianias kommunebstyrelse (tilsvarer dagens bystyre), og i 1890 ble han medlem av formannskapet samme sted. Ved stortingsvalget i 1890 ble han valgt til 3. vararepresentant fra Kristiania. Han var medlem av forstanderskapet i Kristiania Høyre, vararepresentant til Stortinget fra kjøpstedene Kristiania, Hønefoss og Kongsvinger 1892–1894 og medlem av Kristiania bystyre 1888–1893. Olssøn var forsvarsminister i Emil Stangs andre regjering fra tiltredelsen i mai 1893 til juli 1894, da han ble medlem av statsrådsavdelingen i Stockholm. Fra april 1895 holdt han igjen statsrådposten i Forsvarsdepartementet, fra oktober 1895 i Francis Hagerups første regjering, som satt til februar 1898. Olssøn kom tilbake som forsvarsminister i Christian Michelsens koalisjonsregjering fra mars 1905 til mai 1907.Han ble utnevnt til forsvarsminister i regjeringen Stang i mai 1893, og ble sittende i denne posten frem til 1898. Han var senere forsvarsminister i den såkalte «7. juni-regjeringen», fra 1905 til 1907.