Update indexing.py

The list added to the index doesn't need duplicate values. This will allow storage of longer values.
For instance indexing 'benvand' goes from
45
[u'b', u'be', u'ben', u'benv', u'benva', u'benvan', u'benvand', u'benvand-', u'benvand-2', u'e', u'en', u'env', u'enva', u'envan', u'envand', u'envand-', u'envand-2', u'n', u'nv', u'nva', u'nvan', u'nvand', u'nvand-', u'nvand-2', u'v', u'va', u'van', u'vand', u'vand-', u'vand-2', u'a', u'an', u'and', u'and-', u'and-2', u'n', u'nd', u'nd-', u'nd-2', u'd', u'd-', u'd-2', u'-', u'-2', u'2']

to:

44
[u'van', u'envand-', u'and-2', u'nv', u'nd', u'and', u'and-', u'nvan', u'benvand-', u'benv', u'env', u'vand-', u'v', u'envand', u'benvand', u'nva', u'envan', u'benvan', u'e', u'd', u'be', u'a', u'b', u'benvand-2', u'n', u'ben', u'en', u'va', u'vand-2', u'nd-2', u'-2', u'd-', u'nd-', u'enva', u'benva', u'nvand-', u'envand-2', u'2', u'vand', u'd-2', u'-', u'nvand-2', u'an', u'nvand']

This is a fairly trivial example however something much longer will have a massive minimisation and anything with repetition will see massive advantages.

For example 'Foofoofoofoofoofoofoo'
Goes from 59 to 231 values stored for the index.