西大寺地区には西大寺観音院を筆頭に文化財が多い。東部の硫黄山の一角の築山には6～7世紀の横穴式古墳群がある。山の南側にあたる大宮地区には備前国一宮であった安仁神社が鎮座。境内付近からは銅鐸も出土している。硫黄山の尾根続きである堂山には報恩大師開基と伝えられる千手山弘法寺がある。邑久郷地区の納岡には宇喜多家の菩提寺と伝えられる紅岸寺（向岸寺）があり、乙子地区には、戦国時代に児島湾に面して築かれた宇喜多直家所縁の乙子城（音湖城）址がある。西部の芥子山の西山中には岡山藩主・池田綱政による創建とされる大多羅寄宮跡がある。民俗行事としては、全国的に知られる西大寺観音院の会陽・裸祭が代表的であり、当地の代名詞的なイベントとして古い時代から現在まで続けられている。毎年会陽の時期には、見物客が全国から数万人が訪れ、西大寺の街が一年でもっとも賑わう。
明治29年に地元資本により西大寺紡績（後の鐘紡西大寺工場）が設立されて以降、山陽板紙、西大寺製紙、西大寺織物などの多くの企業が相次いで設立された。山陽板紙は観音院の上手で稲藁を原料として操業し、昭和19年に大蔵省印刷局が同所を買い取り進出している（現在は撤退）。また同年には吉井川東岸河口部にあたる西幸西で、帝国化工岡山工場、同33年には金岡東町に日本エクスラン工業西大寺工場などがそれぞれ操業し、いずれも用水型工業である。また、後の時代には九蟠地区や豊地区に企業団地が形成された。明治期の西大寺一帯の主な営業種は、米穀・乾物・青果・肥料・陶器・足袋など。商業資本の中から大正元年に、呉服・売薬業の伊原木茂兵衛が岡山へ進出、後の天満屋百貨店へと発展する。
江戸時代、当地内にも特に人通りの多かったのが牛窓往来であった。同街道は、岡山城下町から上道郡平井・湊村を経て倉安川沿いに東に向かい、百間川を越えて中川・松崎・西大寺各村を通り抜け、金岡村から吉井川を渡り、対岸の邑久郡新村からは南東に向かい、邑久郡乙子・神崎・千手と抜け、峠を越え、鹿忍を経て牛窓港へ至った。現在の西大寺地域を横断する形となっている。牛窓港は朝鮮通信使一行の休息・宿泊の地であり、使節団の応援にあたるため岡山藩士の往来も多く、周辺には西大寺村や金岡村の他にも在郷町が発達して沿線は賑わいを見せた。
その後も西大寺門前町の商業は発展し、江戸時代になると寛永19年に岡山藩は西大寺村の商人が酒造業を営むことなどを公認、また中期には町奉行が「西大寺は下津井とともに港町として栄えているので、おかげで岡山城下町の繁栄が脅かされている」と嘆いていることが伝えられている（市政提要）。西大寺村南隣の金岡村も、吉井川の高瀬舟および瀬戸内航路の船が集う港町、物資の集積港として、さらには牛窓往来の渡し場として繁栄した。
戦国時代になると西大寺観音院を中心に周囲に家や店が増え、門前町が形成され、西大寺村として繁栄、有力商人が多数活躍した。宇喜多秀家が岡山城を築城すると、城下町整備のため西大寺門前町の有力商人が多く岡山へ招かれ移住した。現在も城下町を起源に持つ岡山市表町には、西大寺門前からの移住者に由来する西大寺町や新西大寺町などの字が残っている。
古代においては、吉井川西岸は備前国上道郡可知郷や居都郷、東岸は同国邑久郡長沼郷や邑久郷などが当地にあったと推定されている。その後荘園が勢力を増すと、当地には金岡庄と呼ばれる広大な荘園が生まれた。金岡庄は西庄と東庄の東西に分かれていた。現在の金陵山西大寺（観音院）や金岡辺りは東庄に属しており、『観音院文書』には「金岡東庄」の記述が見られる。金陵山西大寺は、古くは犀載寺とも表記され、その創建は古く天平勝宝3年といわれる。延慶4年の大般若経（西大寺観音院所蔵）の奥書に「備前西大寺」とあり、これが書物等における初見となる。金岡庄は元は藤原氏と大和興福寺の所領であったが、南北朝時代には大和額安寺の所領となった。元亨3年、額安寺と土地の地頭が金岡庄を検分し、それを記録したとされる西大寺観音院境内絵図によれば、境内に市場があり、酒屋・魚屋・餅屋・筵屋・鋳物師などの商人が店を開き繁栄していた。また室町時代前期の永享12年の『西大寺古縁起』には金岡浦とあり、吉井川河口の港町として現在の金岡地区周辺が栄えていた。
1919年のパリ講和会議後も、ヨーロッパでは一部の党派が領土拡張への意欲を保っていた。ユゼフ・ピウスツキはポーランドの国境を可能な限り東に広げる方策を探っていた。ポーランドを盟主とする連合国をつくることによって、将来予想されるロシアまたはドイツによる帝国主義的行動に対抗しようとしていたのである。一方その頃、ロシア内戦で優勢になりつつあったボリシェビキも、西側における共産主義運動を支援すべく、係争中の土地を目指して西進を始めていた。国境を巡る1919年の両者の小競り合いは、次第に白熱して1920年のポーランド・ソビエト戦争にまで発展した。ワルシャワの戦いでポーランドが勝利をおさめ、ソビエトは和平を求めたことで、同年の10月には休戦が成立して戦争が終わった。1921年3月18日には正式な平和協定であるリガ平和条約が締結され、問題となっていた土地はポーランドとロシアに分割された。戦間期のあいだにポーランドとソビエト連邦間の国境がおおまかに定まったのは、ソビエトがポーランドの講和全権団に対して争いの原因となった国境地帯における領土的譲歩を提案したからだった。これにより両国の国境は1772年の最初のポーランド分割以前の、ロシア帝国とポーランド・リトアニア共和国の国境に非常に近いものとなった。和平合意がなされて以降、ソビエトの指導者は世界革命という目標をほとんど放棄してしまい、その後およそ20年もの間、この理想に立ち返ることはなかった。大使会議と国際社会（リトアニアを除く）は、1923年にポーランドの東部における新しい国境を承認した。