西江家は、家譜によると坂東八平氏のひとつ三浦義明氏嫡流の出自であり、鎌倉時代は北面の武士をしていた。応仁の乱を経て室町末期より京都から当地に居住し、山城を守る武士となる。戦国時代より毛利氏に臣従し、初代・西江大蔵清成は、天正の戦乱で武功をあげ、天正10年に毛利輝元（書状あり）より二百町歩の土地を与えられた。その後、関が原の戦いでの毛利氏敗退により、武士を捨て帰農した。当時より郡中惣代庄屋を務め、豪農商ではあったが、一般農家では門を構えること自体許可されておらず、西江家楼門は、天領地を任されていた格式を示すものである。