Do an actual check whether the path exists