Speed up fuse_ptr destructor