Tolong jelaskan mengenai robots dari Elemen meta

robots adalah salah satu jenis meta yang memiliki fungsi mengontrol perilaku perayapan dan pengindeksan mesin telusur. Tag meta robots berlaku untuk semua mesin telusur (search engine), untuk tag meta "googlebot" di khususkan hanya untuk google. Nilai standar bagi tag meta robots adalah "index,follow" (sama dengan "all") dan tidak perlu ditetapkan. Ada beberapa nilai untuk meta tag robots, yaitu:

Dikutip dari tag meta yang dipahami oleh google

Contoh penulisan tag meta robots: