纪以前，志摩国内仅有志摩郡一个郡，直到在719年志摩郡被分割为答志郡和佐艺郡，但大约在745年后，开始改使用英虞郡的名称。不过最初英虞郡的范围还沿着海岸线往西延伸到现在的南伊势町、大纪町锦地区、纪北町、尾鹫市，其面积远大于19世纪末时的范围；但在1582年由当时的及伊势国司北畠信雄商定后，将这部分区域分别划入纪伊国牟娄郡和伊势国度会郡。在江户时代后，剩余的英虞郡区域成为领地，19世纪末明治维新实施废藩置县后，隶属鸟羽县；1872年的第一次府县整併中，改划入度会县，但在1876年的第二次整併中又随着度