Nach Beginn des Vierten Koalitionskriegs gegen Napoleon I. wurde im Dezember 1806 durch Manifest Alexanders I. die Miliz "Semskoje Opoltschenije" aufgestellt, zu der Olenin einberufen wurde. Er wurde Kanzleichef des Oberkommandierenden Nikolai Alexejewitsch Tatischtschew im Gouvernement Sankt Petersburg und diente als General vom Dienst. Im April 1808 wurde das Semskoje Opoltschenije aufgelöst, und er kehrte in das Allodial-Departement zurück.