Politisch war Ormsby Mitglied der von Thomas Jefferson gegründeten Demokratisch-Republikanischen Partei. Im Jahr 1796 war er Wahlmann bei den Präsidentschaftswahlen. Bei den Kongresswahlen des Jahres 1810 wurde er im dritten Wahlbezirk von Kentucky in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1811 die Nachfolge von Henry Crist antrat. Bei den folgenden Kongresswahlen verlor er in seinem Wahlkreis gegen Richard Mentor Johnson. Nach dem Tod des im neugeschaffenen achten Distrikt gewählten Kandidaten John Simpson, der noch vor Beginn der Legislaturperiode verstorben war, wurde Ormsby bei der fälligen Nachwahl zum ersten Kongressabgeordneten für diesen Bezirk gewählt. Am 20. April 1813 konnte er sein neues Mandat antreten. Nach einer Wiederwahl im Jahr 1814 verblieb er bis zum 3. März 1817 im Kongress. In seine Zeit im US-Repräsentantenhaus fiel der Britisch-Amerikanische Krieg.