Za wierność dworowi został Olszowski nagrodzony już z początkiem 1660, kiedy otrzymał urząd referendarza koronnego. Prawdopodobnie wszedł wówczas do ścisłego grona współpracowników królowej Ludwiki Marii, zmierzającej do przeprowadzenia reform ustrojowych. Zaledwie niecały rok później 23 lutego 1661, król mianował go biskupem chełmińskim. Nominacja została zatwierdzona przez papieża 8 sierpnia tego roku, zaś 2 lutego 1662 Olszowski objął rządy w diecezji. Sakrę biskupią otrzymał z rąk biskupa krakowskiego Andrzeja Trzebickiego w kolegiacie warszawskiej. Jako biskup chełmiński zajął się odbudową diecezji zniszczonej w latach potopu i ożywieniem życia religijnego. Przyczynił się do odbudowy kilku świątyń, rewindykował z rąk protestantów kościół św. Jakuba w Toruniu (1667) przekazując go benedyktynkom, popierał misje prowadzone przez jezuitów, w Toruniu wznowił procesje Bożego Ciała, 17 kwietnia 1665 erygował w kapitule prebendę kanonika penitencjarza. W latach 1667-1672 z jego polecenia kanonik Jan Ludwik Strzesz przeprowadził bardzo dokładną wizytację diecezji.