add twitter crawl
remove duplicates