1944年1月31日、ミシシッピ州コジウスコに生まれる。3歳の頃、家族とともにメンフィスに移り住んだ。13歳のとき、ハーモニカをプレイするようになり、ウィル・シェイド、ファーリー・ルイスなどメンフィスのブルース・シーンで活躍するミュージシャンと共演するようになった。18歳になると、マッスルホワイトは職を求めてシカゴに移住した。シカゴの地では、テレサズ・ラウンジ、ペッパーズ、ターナーズといったサウスサイドのクラブに出入りするようになり、リトル・ウォルター、ロバート・ナイトホーク、サニー・ボーイ・ウィリアムソンII、キャリー・ベルなど多くのミュージシャンと共演を重ねている。1965年、ヴァンガード・レコードのコンピレーションChicago/The Blues/Today!のレコーディングにビッグ・ウォルター・ホートンのバンドのメンバーとして参加した。1967年には、ハーヴィー・マンデル、フレッド・ビロウらが参加した初のリーダー作Stand Back! Here Comes Charley Musselwhite's South Side Bandをヴァンガードよりリリースしている。デビュー作がサンフランシスコのアンダーグラウンド・ラジオで人気を博したことを受けて、マッスルホワイトはフィルモア劇場に出演するなど、サンフランシスコ周辺のベイエリアに活動の拠点を移した。以後、アルコール中毒の問題を抱えていたこともあり、大々的なツアーは行わず、ブルー・ホライゾン、クリスタルクリアといった主に小レーベルから作品のリリースを続けた。1984年にブルー・ロケットからリリースしたTell Me Where Have All the Good Times Gone?では、ギターにロベン・フォードを全面フィーチャーした。同作では、前年に他界したマディ・ウォーターズを悼んだ"Seemed Like the Whole World Was Crying"で泣きのハープを披露するなど、マッスルホワイトの力量を示した快作となっている。1990年にアリゲーター・レコードからの1作目、Ace of Harpsをリリースした頃より、大々的なツアーを行うなど露出が増えるようになった。1997年には大手ヴァージン・レコードよりRough Newsをリリース。続いて同レーベルからリリースされたContinental Drifter（1999年）では、大胆にラテンの要素を取り入れる試みを披露している。1998年、映画ブルース・ブラザース2000に、B.B.キング率いるバンド、ルイジアナ・ゲーター・ボーイズのメンバーとして出演、演奏。1999年以降はトム・ウェイツと親交を深め、ウェイツのアルバム『ミュール・ヴァリエイションズ』（1999年）、『ブラッド・マネー』（2002年）、『オーファンズ』（2006年）、『バッド・アズ・ミー』（2011年）に参加した。
西大寺鉄道は、軽便鉄道（地方鉄道）として日本唯一の914mm軌間を持つ鉄道であった。この軌間は、1900年代 - 1930年代にかけて北部九州に発達した馬車鉄道や軌道で多く用いられたが、本州では西大寺以外に戦前の石川県下の馬車鉄道で採用例があるのみで、西大寺軌道がわざわざ採用した動機は不明である。「開業時に、当時914mm軌間であった熊本県の菊地軌道（のち熊本電気鉄道）から中古車両その他を譲り受けたことによるもの。」という説があるが、菊池軌道からの中古車両はほとんど1926年1月（8・9号機関車のみ1927年2月）譲受で開業から14年ほど経過しているので無理がある。鉄道省文書（国立公文書館所蔵）によれば1907年（明治40年）に下付された軌道敷設特許状では動力電気、軌間1067mmであった。しかし諸事情から動力蒸気、軌間762mmに変更し、さらに「（762mm）軌幅ニテハ客貨車ノ容積矮小ニシテ乗客ノ不便少ナカラス貨物ノ輸送力薄弱ト相心得是等ノ欠点ヲ補ヒ且一層運搬ノ安全ヲ期シ軌幅（914mm）ニ致シタク」を理由として軌間変更申請をしている。また『西大寺鉄道52年史』によると「購入先（注：大阪岸本商店の事）にちょうど三呎（注：914mm）軌間の器材が揃っていたため購入を決めた」という記述があるので、大株主で役員も1人いた大阪岸本商店に何らかの理由で914mm軌間の機関車があり、これを進められたことで914mm軌間に決定したのではないかという説を安保彰夫は『RM LIBRARY89　西大寺鉄道』P7で述べている。計画当初は岡山市側の終点を門田屋敷中納言にして三蟠鉄道や岡山電気軌道との乗り換えをしやすくする予定だったが、実際は市内中心部に入らず、後楽園北側の蓬莱橋正面に作られた後楽園駅が終着駅となった。これは観光客目当てではなく、目の前の旭川を渡る鉄道橋を建設できなかったためである。ただし後楽園を挟んで蓬莱橋・鶴見橋の2つの道路橋で旭川を渡れば徒歩10分ほどで岡山電気軌道番町線の停留所があり、市内中心部へ乗り継ぐことができた。これに対し、岡山 - 西大寺間に存在するもう一つの大河である百間川（旭川放水路）の渡河については橋梁を架設せず、堤防に切り通し（陸閘＝りっこう）を設けて横断する大胆な形態を取っていた。河川を管理する内務省およびその後身である建設省はこのような河川の通水の障害となる構築物の設置には反対するのが通例であったが、百間川は本来旭川の治水事業の一環で築造された放水路であり、通常は水が流れていなかったために認められたものであった。もっとも、旭川が洪水等で百間川に緊急放水される際は両岸の陸閘にそれぞれ板を落とし込んで堤防を閉鎖し、列車は運休となった。陸閘の開閉作業は西大寺鉄道の職員が行っていた。西大寺で毎年2月に開かれる奇祭「西大寺観音院会陽」の際には、保有車両全車を出動させて長大編成を組み、ピストン輸送を行った。戦前の会陽輸送では、車両の屋根上にまで人が溢れるほどの混雑を呈したと伝えられ、実際に写真も残されている。あまりの荷重で先頭の蒸気機関車の力だけでは発進が容易でないことから、客車代わりに編成内に連結された気動車にもエンジン始動状態で運転士が乗り込み、発進時のみ機関車に協調してギアを繋いで補助していた。混雑の凄まじさがうかがえる。