This passage does not say the Nephilim were genuinely there, only that the spies thought they saw the Nephilim.
Hindi sinasabi ng talata na mga totoong Nefilim ang nasa Canaan, kundi inaakala lamang ng mga espiya na ang mga nakita nila ay ang mga Nefilim.