势国司北畠信雄商定后，将这部分区域分别划入纪伊国牟娄郡和伊势国度会郡。在江户时代后，剩余的英虞郡区域成为领地，19世纪末明治维新实施废藩置县后，隶属鸟羽县；1872年的第一次府县整併中，改划入度会县，但在1876年的第二次整併中又随着度会县一同併入三重县。在1879年实施时，正式的设置了近代的行政区划「答志郡」，并在鸟羽町（位于现在的鸟羽市）设置「答志英虞役所」，同时负责管辖答志郡和英虞郡。