ジャスパー郡を含むアッパールイジアナ領土は、1812年にアメリカ合衆国の州に昇格したルイジアナ州との混同を避けるために、1812年6月4日にミズーリ準州と名付けられ、ニューマドリード地区がニューマドリード郡となった。ニューマドリード郡のうち、セントフランシス川の西、アーカンソー郡の北で、現在のミズーリ州南西部とアーカンソー州の北西部が、1815年にローレンス郡として組織化された。しかしローレンス郡は短命であり、3年後の1818年にはケープジラード郡の一部と合併し、ウェイン郡と改名された。1819年にはアーカンソー準州が創設され、ウェイン郡の領域もそれに採られたが、それでも現在のミズーリ州南西部、現行ウェイン郡から西のカンザス州州境と南のアーカンソー州州境の範囲に広がっていた。1820年、ミズーリ準州が州に昇格し、1831年にはウェイン郡から分離してクロウフォード郡が作られた。この新しい分割にはミズーリ州南部の全体が含まれ、ジャスパー郡領域も入っていた。この配置も短命であり、1833年にはナイアンガ川から西のカンザス州州境までの領域が分離してグリーン郡となった。1835年1月5日、グリーン郡の大きな部分が分離してバリー郡となった。1838年、バリー郡が4つに分割され、バリー郡、デイド郡、ニュートン郡、ジャスパー郡となった。当時のジャスパー郡は管理体制が整わず、1841年までニュートン郡に付設されたままだった。
ジャスパー郡となった地域にヨーロッパ人が接触する以前、オーセージ族インディアンが地域を支配していた。オーセージ族は自らを「水の中間の子供達」 (Ni-U-Kon-Ska) と呼んでいた。これは、その領土がミズーリ川と北のオーセージ川、東のミシシッピ川、南のアーカンザス川の間にあったからだと考えられる。西にはグレートプレーンズがあり、そこでバッファローの狩りを行った。ヨーロッパ人とオーセージ族が接触した初期の記録は、1673年にフランス人イエズス会宣教師で探検家だったジャック・マルケットが作成した地図に読み取られる。マルケットは遭遇した部族の名を耳で聞いた音をフランス語で Ouchage,（ウーシェイジ）と綴った。マルケット探検隊から数年後、フランス人探検家がリトルオーセージの集落を発見し、そこを Ouazhigi と呼んだ。部族名のフランス語音訳は最終的に Osage となり、これをヨーロッパ系アメリカ人も使った。1682年、ロベール＝カブリエ・ド・ラ・サールがカヌーで、ミシシッピ川をメキシコ湾まで下り、その流域全体をフランス王ルイ14世に因んで、「ラ・ルイジアン」と名付けた。1699年、ルイジアナはヌーベルフランスの管理区域と指定され、ヨーロッパ列強（フランス、イギリス、スペイン）の間では、ジャスパー郡となった地域はフランス領だった。フランスはその後、アーカンザス川を境として、上流地区と下流地区に分割した。1763年にフランスとスペインが七年戦争に負けた結果として、フランスはルイジアナをスペインに、ヌーベルフランスの大半をイギリスに割譲した。イギリスはスペインからフロリダも取り上げた。スペイン領ニューマドリード地区には今日のジャスパー郡も入っており、アッパールイジアナでは5つの地区の最南部にあった。フランスは1800年に秘密のサンイルデフォンソ条約でルイジアナを取り戻したが、ナポレオン・ボナパルトは1803年にそこをアメリカ合衆国に売却した。1808年、オーセージ族はアメリカ合衆国と条約を結ぶようになり、オーセージ条約で最初の土地（現ミズーリ州内）を譲渡した。オーセージ族はこの年オーセージ川沿いの故郷から、ミズーリ州南西部のジャスパー郡の地に移動した。1825年、さらにミズーリ州、アーカンソー州、オクラホマ州に跨る昔からの土地を手放した。まずカンザス州南東部のチェロキー・ストリップ、現在のインディペンデンス市の土地に移動し、1872年にはインディアン準州に移った。
鎌倉時代から室町時代にかけて頼朝から奥州総奉行に任じられた葛西清重を祖とする葛西氏が当地を治めた。初代清重は奥州藤原氏の要である胆沢郡、磐井郡と牡鹿郡を与えられ、平泉ではなく石巻城に居を構えた。築城年代・築城者は不明だが、現地の伝承では、葛西氏家臣の蜂谷氏・佐々木氏・柏山氏などが水沢城を築城している。水沢城は葛西氏の胆沢平野支配の拠点の一つであったと考えられている。また、江刺郡には幕府御家人・千葉頼胤の三男である胤道が配され、岩谷堂城を居城として江刺氏を名乗り、江刺氏配下の人首氏が人首城を築城している。貞和4年、無底良韶が黒石に正法寺を建立。奥羽二州（東北地方）における曹洞宗の本寺・日本第三の本山で、東北地方における曹洞宗の中心寺院として発展。かつては東日本各地に末寺が508ヶ寺や1200ヶ寺あったと伝えられている。戦国時代末期になると、葛西氏は領土を胆沢郡、磐井郡、牡鹿郡から、登米郡、本吉郡、江刺郡、気仙郡にまで拡大した。その一方で南部で隣接する大崎氏と衝突するようになった。このため大崎氏を挟み合う位置関係にある戦国大名、伊達氏と同盟し、伊達氏から当主を受け入れるなど、伊達氏と密接な関係を築いた。伊達政宗の頃になると、葛西領は「伊達の馬打ち」と呼ばれる伊達氏の準領土となった。伊達氏は葛西氏の軍事指揮権を掌握したが、徴税権は葛西氏が握った。伊達政宗が豊臣秀吉に屈服し、秀吉が奥州仕置によって葛西氏を滅亡させると、秀吉は葛西領を家臣、木村吉清に与えた。これに不満を抱いた伊達政宗は、旧葛西領および旧大崎領で「葛西大崎一揆」を起こさせた。しかし政宗の陰謀は秀吉に露見する。秀吉から一揆鎮圧の命令を受けた政宗は木村吉清を一揆勢から救出し、自ら一揆を鎮圧した。戦後、秀吉は政宗から伊達郡などの先祖ゆかりの地や政宗が征服した会津地方を奪い取り、政宗に旧葛西領（現・岩手県南部）と旧大崎領（現・宮城県）を与えた。政宗は居城・岩出山城を築き、新しい領土の統治に当たった。こうして奥州市一帯は伊達領の一部となった。豊臣秀吉が死ぬと伊達政宗は徳川家康の天下取りに協力し、1600年の関ヶ原の戦いを経て1601年、政宗は居城・仙台城と城下町を築いた。ここに仙台藩が誕生し、奥州市一帯は仙台領の一部となった。