世纪前即在本地的豪族饭高氏，12世纪被捐给伊势神宫成为神郡，不过在14世纪南北朝时代后，北畠氏在伊势国崛起而被北畠氏所支配。江户时代后成为纪州德川家纪伊藩领地，19世纪末明治维新实施废藩置县后，最初隶属和歌山县；1872年的第一次府县整併中，改划入度会县，但在1876年的第二次整併中又随着度会县一同併入三重县。在1879年实施时，正式的设置了近代的行政区划「饭高郡」，并在松坂城下（位于现在的松坂市）设置「饭高饭野郡役所」，同时负责管辖饭高郡和饭野郡。