Olszewski besuchte die Höhere Bürgerschule in seiner Heimatstadt sowie die Kadettenhäuser in Kulm und Berlin. Anschließend wurde er am 2. Mai 1846 als Musketier im 3. Infanterie-Regiment der Preußischen Armee angestellt. Dort avancierte er im August 1848 zum Sekondeleutnant und diente von November 1852 bis Ende September 1857 als Adjutant des II. Bataillons. Nach seiner Beförderung zum Premierleutnant war Olszewski von Januar bis August 1858 als Kompanieführer beim III. Bataillon im 3. Landwehr-Regiment in Angerburg kommandiert. Mitte Januar 1860 stieg er zum Hauptmann auf und wurde am 13. Mai 1861 zum Kompaniechef ernannt. In dieser Eigenschaft nahm Olszewski 1866 während des Krieges gegen Österreich an den Schlachten bei Trautenau und Königgrätz teil.