Skip masking values if fill_value is NaN