中世に荘園公領制が成立すると、それまで令制国のもとに郡があり、その下に郷があるという地方行政組織が再編され、令制国の中に国衙に並列的に直結する郡、郷、保、院、条、別名などといった公領と、荘園領主の支配下にある荘園が割拠する状況が現出した。この状況下で全国各地に国衙領（公領）として「西郷」が数多く成立した。この「西郷」を郷司として支配し、名字の地とした武士が、各地の西郷氏の由来である。
武家として名を残した西郷氏の中では、室町時代の九州北部で勢力を振るった肥前伊佐早荘（後の諫早）の西郷氏が歴史の古い名族として知られる。こちらは、肥前高来郡の国衙領部分が高来東郷と高来西郷に再編された内の後者を出自としており、戦国時代には、より西にある伊佐早荘（後の諫早市と北高来郡に相当）を支配し、大永年間の西郷弾正小弼藤原尚善より記録が確認できる。西郷尚善は有馬貴純の傘下で活動し、次代は有馬晴純の弟の純久が養子となって家を継いだ。西郷純久は享禄・天文年間に有馬晴純の副将格として活動したが、天正年間に活動した子の西郷純堯は、有馬当主の有馬義貞や西郷家と同様に有馬より養子に入って同盟関係にあった大村純忠がキリシタン大名となると離反し、後藤貴明、松浦氏と同盟して大村、長崎に侵攻した。純尭は龍造寺隆信に降ったが、次代を継いだ子の西郷信尚は豊臣秀吉の九州征伐に参陣せず不興を買ったため、秀吉の命を受けた柳川城主である佐賀の龍造寺家晴（近世諫早氏の祖）に侵攻され、所領を奪われて島原に逃れたが、その後平戸に移住して子孫は松浦の家臣となった。
菊池氏流の西郷氏.
肥前西郷氏.
肥前西郷氏は菊池氏の一族とされ、その菊池氏は藤原北家の藤原隆家流を称した。このため、肥前西郷氏の流れを汲むとされる西郷氏は、いずれも本姓を藤原氏と称し、鷹の羽を家紋としている。また、綾部氏系図より、大治年間に肥前権守として下向した藤原幸道の次男西郷次郎藤原道秀に由来するとする説もある。
薩摩西郷氏.