Remove unused used_addrs set.