add -no_duplicates flag