Vermonts første delstatsflagg ble innført 1. mai 1804. Det besto av USAs flagg slik det så ut på den tiden, med 17 røde og hvite striper og med 17 stjerner i kantonen, og delstatens navn i hvite bokstaver langs øvre kant. Antallet striper kan forklares med at det var ventet at flagget ville få striper både ikke bare for Vermont og Kentucky, som ble med i unionen i henholdsvis 1791 og 1792, men også Tennessee og Ohio, som ble opptatt i henholdsvis 1796 og 1803. Dette skjedde likevel ikke, da en bestemte seg for at USAs flagg skulle ha et fast antall striper, nærmere bestemt tretten, for de opprinnelige delstatene. Delstatsflagget ble likevel benyttet til 1837.