関東地方と北陸地方をむすぶ交易路は、子持山東麓の利根川の峡谷（綾戸渓谷）を避け、子持山と小野子山のあいだの谷を経由して南北に通じていた。これが江戸時代に整備され三国街道となった。中世から江戸時代初期にかけては、子持山の南山麓に造営された白井城がこの交通路の要衝となっていて、白井藩の城下町として商業や流通を担って栄えた。しかし元和9年（1623年）に廃藩となり、城が破却されると、渋川にその地位を譲るようになっていった。西麓には三国街道が通じる。高崎方面から来ると、南の扇状地の西端にある横堀宿（旧子持村横堀字宿）を経て、小野子山との鞍部の中山峠（標高709メートル）を越え、中山盆地へと入る。ここには中山宿（高山村）が置かれていた。明治時代までは、三国街道は東日本の流通の大動脈として利用され、とくに新潟方面からの年貢米や酒などの輸送を担って栄えた。しかし明治末期に碓氷峠を越える国鉄信越本線、昭和初期に綾戸渓谷を通る上越線が開通すると、関東と北陸方面の物流は信越本線が担うことになり、三国街道は衰退した。国道17号や関越自動車道も渋川から沼田まで子持山の東麓を通るルートとなりった。かつての三国街道は、いまは群馬県道36号となっている。このほか北麓を権現峠経由で国道145号が東西に横断し、沼田市中心部と吾妻郡中心部の短絡路として利用されている。1970年代から1980年代にかけて上越新幹線が建設された際には、高崎市から新潟方面への短絡のため、かつての三国街道のルートに相当する子持山と小野子山の直下をトンネルで通過するルートが選択された。この中山トンネル建設工事は、当初の見立てを裏切って歴史的な難工事となった。
子持山の山麓には縄文時代から古墳時代までの遺跡があちこちにあり、住居跡、墳墓、農耕跡などによりヒトの定住があったことが知られる。とりわけ、南麓の扇状地にある黒井峯遺跡は畑作の大規模な遺構で、東日本を代表するものとして知られている。また、同じ地域にある押出遺跡からは稲籾の跡が残る北九州風の遠賀川式弥生土器が出土しており、稲作が伝来していたことの証拠とみられている。しかしこれらのほとんどは、6世紀から7世紀にかけて起きた榛名山二ッ岳の大噴火にともなう土石流や膨大な量の軽石によって埋没し、瞬時に滅びたものと推定されている。中世になると、子持山南麓扇状地の一体は「白井」保として史料に登場するようになる。山裾の扇状地は農業用水に乏しく、江戸時代にはもっぱら養蚕が行われた。山林は子持神社の社領がおかれていたが、周辺の村とは入会地としての利用や水利をめぐって騒動が絶えなかった。近代になっても養蚕中心の畑作地帯のままだった。1969年（昭和44年）に群馬用水が通じ、農業の多角化の取り組みが始まった。これにあわせて扇状地の区画整理が実施され、稲作への転換が大規模に推進された。これによりクワ栽培は途絶え、養蚕農家はほとんどみられなくなった。ところがまもなく国の減反政策があり、稲作もあまり行われなくなった。一帯では利益率の高いコンニャク栽培が広がり、子持山南麓の主要な農産物となった。
高麗棒子の語源について、中国の歴史学者羅継祖は著書『楓窗脞語』でこう述べている。「解放前から、朝鮮人・韓国人のことを高麗棒子と呼んでいたが、その意味が判然としなかった。解放後で禁止用語になったので、美称ではないことを知った。だがその意義が曖昧なままだった。後に王一元の『遼左見聞録』を拝読し、その記載によると『朝鮮朝貢使と従者以外にも、使い走りの者で棒子と呼ばれる者が居る。その国では婦女が淫行罪を犯したら、刑罰として公営の売春宿で働かせ、そこで生まれた子が棒子と呼ばれ、一般人に蔑視されている。頭巾の使用が禁止されるので頭髪とヒゲが常に散乱し、馬や車両に乗るのも禁止されるので萬里の道でも徒歩で歩く、火炕や布団の使用も禁止されるので藁や乾草で床で寝る。つまりその国の賎民で下級労働者なり。』それでやっと棒子は元々私生児を指すことを知った、そしてそれは世代沿襲の身分でもあり、遂に自ら社会階層の一つと成った。」 — 羅継祖、楓窗脞語（中華書局、1984）満州国では警察官に朝鮮人も採用していた。朝鮮人警察官は、主に朝鮮で洗濯に使う棒を武器として警備をし、事実上の支配国であった日本の威を借りて横暴な態度を取っていたため、現地の中国人達は警官の携帯する武器の棒より「高麗棒子」と蔑称した。鄭判龍によると奪った土地が入植者である朝鮮人（日本国籍）に貸されていたため、満州での土地を奪われた中国農民の朝鮮人への憎悪は強く、東北地方の匪賊は「高麗棒子は全部殺す」と宣言していたという。早稲田大学が所蔵する、清朝の乾隆十六年版『皇清職貢圖』第一冊の中に、「朝鮮国民婦」図の後ろのページに「朝鮮国民人，俗呼を高麗棒子と呼ぶ。」と記載されている（中国語版を参照）。また、中国では昔から人を「棒槌」と罵る習慣がある。棒槌とは洗濯用のずっしりとした棒で、人を罵る際の意味は日本語の「頭でっかち」と似ている。