ヒュー・ボクサー大佐とジェーン・パターソンのあいだにワイト島サンダウンに生まれた。チャールズ・ボクサーはウェリントン校（パブリックスクール）とサンドハースト王立陸軍士官学校に学び、1923年にリンカーンシャー連隊の少尉に任命され、1947年まで24年間、陸軍で勤務することとなる。北アイルランドで勤めたのち、1930年から1933年にかけて日本で言語を学ぶよう命ぜられ、奈良市にあった日本陸軍歩兵第38連隊に派遣された。そのとき、同時に豊橋にあった下士官養成のための豊橋陸軍教導学校にも派遣されている。1933年、日本語翻訳官の資格を得た。1936年に香港の駐留イギリス陸軍に転属し、3位の一般幕僚 (GSO3)、香港の中国騎兵部隊付となり、情報部門を担当した。1940年、2位 (GSO2) に昇進する。1941年12月8日に開始された太平洋戦争の香港の戦いの最中に負傷し、以降1945年まで日本軍の戦争捕虜として過ごした。終戦後、捕虜から解放され連合王国極東委員会委員として1946-47年にかけて来日。軍隊にいるあいだに、ボクサーは86にも及ぶ極東史、とりわけ16・17世紀の歴史書を刊行している。