Ежели не ошибаюсьUser-agent: *Disallow: /            # закрываем сайт от всех роботовUser-agent: search.com #[название робота]Allow: /                 # открываем сайт только для данного роботаDisallow: /dir1*     # закрываем dir1 от данного роботаDisallow: /dir2*     # закрываем dir2 от данного робота