据10世纪编撰的和名类聚抄，山边郡内设有都介乡、星川乡、服部乡、长屋乡、石成乡、石上乡。在江户时代郡内大部分区域为幕府直属领、旗本领、津藩领及其支藩久居藩的领地，另有少部分区域属于、柳生藩、。19世纪明治维新幕府直属领和旗本领改隶属新政府成立的奈良县，其他区域在1871年实施废藩置县后分别隶属津县、久居县、芝村县、柳生县、柳本县，但在同一年的第一次府县整併中，全数区域通通都被併入奈良县；1876年的第二次府县整併中，奈良县遭到废除，改隶属堺县管辖，不过到了1881年又因堺县被废除改隶属大坂府，直到1