スペイン人がバンタヤン島に到来したとき、島民は精霊信仰や巫術、降霊術、魔術などいくつかの形式の信仰と崇拝を持っていた。悪霊や善霊、魔女や幽霊といったものを信じ、これらの架空の事物を喜ばせるために人々は護符や誓約、自傷や贄などに助けを求めた。かつての読み書きの出来ない人々の間では悪霊が井戸に入れた毒によってコレラなどの致命的な病気が引き起こされ、祈りを繰り返し続けることで恐ろしい病気から守られると言う考えは共通の考えであった。スペイン人到来後も、長い間国家と教会の協力がなく、両者の間で争いが続いた。総督から大市長までの行政と大司教から修道士までの宗教の間で政治権力闘争があった。このため、改善のための計画は行われなかった。
1778年7月から1787年9月までフィリピン提督はホセ・バスコ・イ・ヴァルガスが勤めた。彼の統治期、農業や産業を奨励する多くの計画を始めた。しかし、島民は道路、公共施設、教会の建設などを強制されたため、多くの小規模産業は完全に放棄された。これらの労役は「politas」と呼ばれていた魚の豊富さ、有利な気候と開拓のない土地は人々の職業を大きく方向付けた。これらの地政学的性質は住民が漁民や農民、船員などとなる強い刺激となった。後に島内に小さな開拓地が開かれていった。バンタヤンとサンタフェとマドリデージョスの3つの町を結ぶ道は主にこの労役と一部献納の積み立てによって作られた。
第22代総督で、1635年6月から1644年8月までの任期を勤めたフィリピン提督セバスティアン・ウルタド・デ・コルクェラの治世、奴隷狩りのために居住地を襲撃していたモロ人海賊によってヴィサヤ人は継続的に苦しめられていたとされる。このため、モロの攻撃からの防衛と避難のため、諸島のさまざまな場所に背の高い壁や物見塔が建設された。地元の伝承ではこれらの物見塔は地元で王の物見塔を意味する「バンタヤン・サ・ハリ(Bantayan sa Hari)」として知られていたとされ、地元住民は塔でモロ人の乗るフィリピンの伝統舟ヴィンタを監視する労役についており、その途中に頻繁に使われた「見張り続けろ」を意味する「バンタヤン」という言葉が群島の名前の由来となったとされる。バンタヤン諸島には18の物見塔が建設された。これらの多くは残っておらず、現在は遺構が残っているだけである。マドリデージョスのものは良好な状態であり、サンタ・フェのものもそれに続く。Doong島に特に良好なものがあるPedro de Caldierva de Mariacaは1608年の「フィリピンにおける陛下の年収と収入源の報告書」で、バンタヤンとボホールからの献納(tributes)は2400ゴールド・ペソに相当すると記している
いつ人々がバンタヤンに初めて到着したか、どこから来たかなどの証拠を示す物理的な記録は何もない。パナイ人にさかのぼることが出来るという説、大部分がセブアノ人に起源があるとする説などのほかレイテ島やボホール島から来たとする説もある。バンタヤンと周辺地域のつながりは人々の話す混合された方言や機織、踊り、建築などの古い文化から推測することが出来る。加えて、古い時代につけられた特定のヒスパニックの部族名はパナイのRubio、Arcenaz、Alvarez、セブのRodriguez、Ancaja、Mansueto、Villacruz、レイテのVillacin、Villaflor、Otega、Carabio、ボホールのHubahib、Garcia、Caquillaなど特定の場所と結びついている。スペインのコンキスタドールの到来以前の文書による文化や生活の証拠は少なく、その時代の島民についての情報は世代間の口伝や伝承の収集によって知ることが出来る。初期にこの島に住んでいた人々は、外部への探究心が無かったとされ、遠出せず、居住域から離れた場所の知識があまり無かった。気候が温暖であったため、彼らは衣類を少ししかまとっていなかった。豊富な魚、猟鳥、果物、ba-ay、hagmang、bailacog、kiotなどの塊茎植物によって、人々は開拓の必要性がなく、穀草、サツマイモや他の野菜などを育てるための開墾などは行わなかった。大小の木々が繁茂しており、その大きな葉によって年中地表を陰らせていた。蔓植物が枝から枝を伝って木に沿って伸びており、開かれた土地での作物栽培は難しかった
この時代に、皇族・宗室である劉一門が封じられた諸侯王は領内の徴税・官吏の任命権などを掌握し、分国は半独立国の様相を呈していた。この問題は前代以来のことであり、文帝も対策を徐々に行ってはいたものの、この問題に対しても消極的な対応であり（文帝自身が諸侯王である代王から皇帝になっている）、中郎将・袁盎の諫言もあって抜本的な対策は先送りにされていた。基本的には文帝の方針を継承した景帝であるが、分国問題に関しては袁盎と犬猿の仲である御史大夫・鼂錯の献言に従って、諸侯王の権力削減に着手し、諸侯王の些細な過失を理由に封土を没収し、中央集権体制を構築して行った。これに反発した諸侯王は密かに連携し、紀元前154年に呉王劉濞を中心とした反乱が発生した（呉楚七国の乱）。当初は反乱軍が優勢であったが、周亜夫の活躍によりこの反乱は鎮圧されている。呉楚七国の乱の鎮圧以降、諸侯王の封土は官僚である相（諸侯相）を派遣して統治させ、諸侯王は徴税される税を受け取るのみとし、当初計画していた諸侯王の権力削減は成功した。また、呉楚七国の乱鎮圧の功労者である周亜夫を、皇太子冊立をめぐる対立により丞相から解任した。それからしばらくして、前漢では初めて自身の側近を丞相に任じた。このことは従来、皇帝の政策にも制約を加えるだけの権力を与えられていた元勲たちとその一族からのみ任命されることが不文律化していた丞相の権力が、景帝の時代に大きく低下し、逆に皇帝権力が飛躍的に強化されたことを示している。