現在の赤磐市山陽町地域西部の龍王山・大錫丈山・上地山・当殿坊山・牛神山・善応寺山などの山地の東側に続く丘陵地一帯が赤坂と呼ばれていたことから、それに由来する郡名といわれる。