1930年、ビルボーは州大学委員会の会議を招集し、179人の教職員を解雇する計画を承認した。会議後、彼は記者発表した。「皆さん、ただ今我々は新記録を成し遂げた。我々は3人の大学の理事長を解雇し、2時間という記録的時間で、3つの新理事長を任命した。これは、今後起こることのまさに始まりである」。ミシシッピ大学、ミシシッピA & M（後のミシシッピ州立大学）、ミシシッピ州立女子大学の学長は全員罷免され、それぞれ不動産業者、広報係、学位取得後間もない者と交代させられた。ミシシッピ大学の医学部長は、「かつて歯科医学を履修した男性」と交代させられた。アメリカ大学協会と南部大学中学校協会 (Southern Association of College and Secondary Schools) は、ミシシッピ州の全4大学の学位認可を停止した。アメリカ医師会は、州の医学部の公認撤回を票決した。クリーヴランドで開催された米国大学教授協会（Association of American University Professors, AAUP）は、従業員の解雇が「政治的配慮により、学生の福祉に対する懸念なくして」なされたと判明した場合は、ミシシッピ州における残りの教授は「退職した職員と見做される」との決議を可決した。危機の間、ミシシッピ大学の学生はビルボーの人形を燃やしたが、彼は州のイメージには無関心であった。彼は「浴槽に浸かり、片手に石鹸、片手に手拭い、口には葉巻」という姿でインタビューに応じ、全国紙の見出しを飾った。1932年に「状況改善の満足な証拠」がAAUPなどの機関に提供されるまで、認可の停止は続いた。職の彼の最後の年には、ビルボーと議会は膠着状態にあった。彼が税法案の承認を拒否したのに対し、議会は彼の議案の認可を拒否した。彼の任期の末期には、ミシシッピ州は破綻していた。州の財源はわずか1,326.57ドルしかなく、負債は1,150万ドルに達していた。ミシシッピ州の農学校に対する農務省の資金提供を停止させたビルボーは、農務省の「広報顧問」として短期間雇われた。彼は、高給（ビルボーの選挙支援に対するパット・ハリスン上院議員からの報酬）に関する新聞記事を切り抜いた。評論家らは、彼を「切り貼り名人 (Pastemaster General) 」と呼んだ。ビルボーは直ちに、ヒューバート・スティーヴンズが保有する連邦上院の議席を奪取する計画を立てた。
ペンビナ郡となった地域とレッド川沿いには数千年前から様々なインディアン部族が住んでいた。16世紀にヨーロッパ人が接触したとき、支配的な部族はアシニボイン族とラコタ族（あるいはフランス人植民地の呼び方ではスー族）だった。アシニナーベ語族の支族であるオジブウェ族アメリカ人の呼び方ではチッペワ族）が五大湖の両岸に沿って次第に西に移ってきた。彼らはフランス人罠猟師や植民地人との交易が永く続いていた。レッド川流域の全体でフランス人罠猟師はインディアンの女性と結婚しその子孫も狩猟を続けた。このためにかなりの数の混血が増え、カナダではメティスと呼ばれるファーストネーションとして認識されている。18世紀半ばの七年戦争（フレンチ・インディアン戦争）では、チッペワ族とメティスの大勢がイギリスに対抗するフランス軍を支持した。イギリスがフランスを破りその植民地を支配すると、チッペワ族は新しい交易文化の扱い方を覚えた。交易によって銃を手に入れ、マンダン族やヒダーツァ族から馬の使い方を習ったチッペワ族は18世紀の終わりまでに森林地帯からグレートプレーンズに移動し、その前に立ったラコタ族を西に追い出し始めた。オジブウェ族は米英戦争の時までに、アメリカ合衆国と対決するイギリスと同盟しており、彼らの領土に侵入してくるヨーロッパ系アメリカ人開拓者を押し留められると期待していた。チッペワ族の領土の北はカナダとの国境であり、アメリカ合衆国のダコタ準州内ではアメリカ合衆国と対応する必要があった。19世紀の前半、チッペワ族はレッド川流域でラコタ族との紛争が絶えなかったが、最終的に現在の南北ダコタ州西部領域にラコタ族を押し出した。カトリック系イエズス会牧師のジョージ・ベルコートがチッペワ族に対する布教を行っており、その領土について次のように記述していた。我々は、ここ、ペンビナと呼ばれる地域あるいは部分が、北緯49度線の南、レッド川の支流で潤され横切られている国あるいは盆地の全体で構成されることを理解している。プレーリーの川と湖はミシシッピ川の土地の高みまで広がり、広大な平原には西方まで数多いバイソンの群れが生息している。そこから地域のチッペワ族と混血のメティスは生活の糧を得ている。その領域は南北に約400マイル (640 km)、東西に500マイル (800 km) 以上ある。チッペワ族はレッド川トレイルと呼ばれた地域、ミネソタ州セントポールとカナダのウィニペグ州の間にある市場に大量の毛皮を運ぶために2輪の牛に曳かせた荷車を用いた。アメリカバイソンの狩猟のときも食料やテントを運ぶために牛車を用いた。チッペワ族は長年の間にアメリカ合衆国との条約によってその土地の大半を割譲するように仕向けられ、アメリカ合衆国はその土地を開拓者に転売した。チッペワ族は元の領土の中に設定された比較的小さなインディアン居留地に移動することになった。ペンビナ郡は1867年1月9日にダコタ準州の一部として創設された。当時は現在よりも広大な領域だった。1871年、現在のノースダコタ州東部のカナダからサウスダコタ州との州境に及ぶような領域を含むよう拡張された。1873年から1881年にペンビナ郡領域の中からカス郡やグランドフォークス郡など、11の新しい郡が創設された。1871年にキャバリエ郡の領域が増やされたときに、ペンビナ郡は現在の広さが確定した。「ペンビナ」という言葉はペンビナ川沿いに大量に自生していた丈の高いツルコケモモの藪を表すチッペワ族の言葉から来ていた。州内最古のヨーロッパ系アメリカ人開拓地であるペンビナ市が1867年から1911年まで郡庁所在地であり、その後はキャバリエ市に移されて現在に至っている。現在のノースダコタ州では最初のアイスランド人開拓地が1870年代後半に郡内に設立された。移民の多くはウィニペグ湖に近いニューアイスランドから来ており、他にウィスコンシン州のコロニーから地域に入ってきたアイスランド人もいた。新しい開拓者は、アクラ、ボーリュー、ガーダーおよびシングワラのいわゆる「アイスランド郡区」に住んだ。ノースダコタ州歴史協会に拠れば、1900年代初期のその地域には、アイスランド人ではない家族は3軒ないし4軒足らずが住んでいるだけだった。この名残はアイスランド起源の町や都市の名前に見て取ることができる。アクラはレイキャヴィークに近いアクラネースの町に因んでいる。ガーダーはアイスランドを最初に訪れたスカンディナヴィア人だとされるガーダー・スババーソンに因んで名付けられた。ハルソンは初期開拓者のヨハン・P・ハルソンに因むものである。アクラにあるアイスランド州立公園はこの初期開拓者の形跡を示す証拠を保存するために設立された。