Meta Robots noindex, follow ermöglicht es Suchmaschinen, die Links auf einer Seite zu durchsuchen, hält sie aber davon ab, die Seite in ihre Indizes aufzunehmen. Es ist wichtig, dass die duplikate Seite immer noch gecrawlt werden kann, auch wenn wir Google sagen, sie nicht zu indizieren. Google wart ausdrücklich davor, den Crawlerzugriff auf doppelte Inhalte auf einer Website einzuschränken.