今から1000万年以上前、一帯は新第三紀中新世に海底で堆積した砂岩や凝灰岩からなる岩盤層だった。中新世末期から鮮新世初期にかけて（おおよそ600万年前）、一帯では火山活動があったと推定され、溶岩が地表に出て岩盤やいくつかの溶岩ドームをつくった。この火山活動はのちの子持山火山とは活動時期が大きく異なっており、子持山とは別個のものとみなされている。このとき流出した安山岩質の溶岩（安山岩）、凝灰岩、凝灰角礫岩が岩盤となり、子持山の基盤となった。
子持山は、古い火山活動による古子持火山が、その後の火山活動によって埋没したうえ、長い年月をかけて浸食・開析されたものと考えられている。古子持火山の活動時期については研究者による学説がいくつかあり、おおむね90万年前から50万年前ほどのものと推定されている。また、1960年代の研究では、子持山は複数の側火山をもつ複式火山とみなされていた。その後、岩石の年代測定技術の進歩により、1990年代になると側火山とみられていたものは大きく時代が離れていることがわかり、子持山とは別の火山活動によるものと推定されるようになった。
この著しい浸食の結果、カルデラの内側では、成層火山の内部構造が露出している。凝灰岩や凝灰角礫岩などは浸食を受けやすいため既に消失し、火山の内部にあったマグマが固まってできた安山岩質の岩脈が地表にあらわれている。子持山では噴火のときに火口がほとんど移動しなかったため、地底から火口へと火道を垂直に昇ってきたマグマが、そのままの形で硬化して岩となった。これを火山岩頸という。子持山の火山岩頸は底部の直径150メートル、高さ100メートルの大岩塔となっており、「大黒岩」または「獅子岩」と呼ばれている。さらにこの大黒岩（獅子岩）を中心として、地下でマグマが岩盤の裂け目を伝って放射状に広がったものがそのまま固まり、岩（放射状岩脈）となって地表に露出している。子持山ではこの放射状岩脈が150本ほど確認されており、そのうちとくに60本ほどは容易に観察できる。これら放射状岩脈のうち顕著なものには、「屏風岩」、「拳岩」などの名前がつけられている。子持山は成層火山としてはそう大きなものではないが、標識的な火山地形や火山内部の構造が観察できるものとしては日本国内でも有数のものであり、地質学の学習の場として重要視されている。
子持山はきわめて典型的な成層火山である。ただし北関東の火山としては規模はかなり小さく、山体の基底部は南北およそ9キロメートル、東西はおよそ7.5キロメートルである。山体の体積は6立方キロメートルと見積もられている。山頂は「笠上（かさがみ）」と呼ばれており、一等三角点「子持山」が設置されている。標高は1296.2メートル。この山頂部は、子持山の本来のカルデラの外縁部にあとから生まれた溶岩円頂丘である。ただし著しい浸食により原形をとどめない。カルデラは標高1000m程度の峰となって、南北におよそ3キロメートル、東西におよそ2キロメートルの楕円形をしているが、長年の浸食作用による開析が進行しており、現在の姿は「カルデラの残骸」というべきものである。子持山の火山活動の最晩期には、山頂部が噴火によって粉砕された。その多くは土石流となって南北方向へ流れ下り、北の沼田市の川田町地区では標高800メートルから600メートルにかけて、南の渋川市の子持地区付近では標高500メートルから300メートルにかけて、扇状地をつくっている。これらの扇状地地形には、その後に浅間山や榛名山の火山活動に由来する火山噴出物が厚さ10メートルの層を形成して堆積している。
瀬戸内海で村上水軍の一軍として活躍した来島水軍の後裔である来島長親（のち康親）は伊予国来島（愛媛県今治市）に1万4千石を領していた。慶長5年（1600年）の関ヶ原の戦いでは西軍に属したが、長親の妻の伯父にあたる福島正則の取りなしで本多正信を通じ家名存続の沙汰を得た。慶長6年（1601年）、豊後森に旧領と同じ1万4千石を得て森藩を立藩した。2代通春は、元和2年（1616年）に名字を来島から久留島に改めた。3代通清は寛文3年（1663年）、参勤交代のおりに飛び地である別府湾頭成港（大分県速見郡日出町）から瀬戸内海を航行中、周防国屋代島沖で暴風雨に遭い藩主の弟・通方の御座船が座礁転覆、通方はじめ乗っていた家臣10名全員が溺死するという惨事に見舞われた。こののち通清は弟の通貞に1千石、通迥に500石をそれぞれ分与している。寛文4年（1664年）、渡辺五郎右衛門が飛び地の速見郡鶴見村（別府市）の照湯で明礬（ミョウバン）の製造に初めて成功した。享保10年（1725年）に脇儀助が同じ鶴見村の明礬温泉にて本格的な生産をおこない、産出量は全国の30%強を占め（隣接する幕府領野田村でも生産を行い、これを合わせると70%）藩の重要な財源となった。この伝統的な明礬製造技術は、2006年（平成18年）に別府明礬温泉の湯の花製造技術として国の重要無形民俗文化財に指定されている。幕末、藩論は勤王倒幕で統一され、放棄された日田の西国筋郡代代官所警備を任された。明治4年（1871年）、廃藩置県により森県となったのち、大分県に編入された。明治2年（1869年）久留島家は華族に列し、明治17年（1884年）に子爵となった。久留島家の末裔に童話作家の久留島武彦がいる。玖珠町では久留島武彦の業績を記念し昭和25年（1950年）より「日本童話祭」を開催している。