由於 robots.txt 檔案中的規則有區分大小寫，在這種情況下，建議您使用標準化方法，確認搜尋引擎只為網址的其中一個版本建立索引。
這麼做有助於減少 robots.txt 檔案的行數，減輕管理負擔。如果無法採用這種做法，則建議您列出常用的資料夾名稱組合，或者盡可能縮短資料夾名稱，只使用名稱中的前面幾個字元而不使用完整名稱。舉例來說，假設資料夾名稱為「/MyPrivateFolder」，您可以不必列出該名稱所有的大小寫排列組合，只要列出「/MyP」的排列組合即可 (但必須先確定沒有其他可檢索網址的開頭也使用這些字元)。或者，如果不用擔心檢索問題，也可以考慮改用 robots meta 標記或 X-Robots-Tag HTTP 標頭。