Only rmdir dirs.