Приложение защищает детей от самих себя

Пока родители ищут новые способы защитить детей от рисков в интернете, создатели приложения SafeToNet подошли к проблеме с необычной стороны. Оно не столько блокирует показываемый детям контент, сколько учит детей не писать оскорблений другим людям, а также помогает им не стать жертвой онлайн-травли и защищает от секстинга.

На этой неделе в Великобритании заговорили о приложении SafeToNet — оно предназначено для защиты детей от различных угроз, с которыми они могут столкнуться в интернете. Например, интернет-травли или секстинга, то есть пересылки в интернете фотографий и сообщений сексуального характера.

Сначала The Guardian опубликовала текст, посвященный проведенному специалистами SafeToNet исследованию. Они проанализировали онлайн-общение более чем 50 тыс. детей — в общей сложности более 65 млн сообщений с ноября прошлого года — и пришли к выводу, что дети используют названия блюд для описания сексуальных действий. В исследовании, в частности, упоминались острый соус «пери-пери» (значение — мужчина с большим членом), который подают в сети ресторанов быстрого питания Nando’s, а также салат «коулслоу» (значение — сходить «на сторону», изменить постоянному партнеру).

Эксперты компании пришли к выводу, что особенно активно такие эвфемизмы используются девочками лет десяти, да и в целом они наиболее откровенно используют слова и выражения, связанные с сексом. «Мы не ожидали увидеть это. Мы думали, что это будут скорее мальчики, чем девочки, и скорее в возрасте 12–13 лет»,— отмечает основатель и генеральный директор SafeToNet Ричард Перси. После публикации этой статьи приложение стали критиковать за «шпионаж» за детьми.

Стартап SafeToNet был создан в 2013 году. Разработанное компанией приложение предназначено для того, чтобы оградить детей от возможных опасностей, которые могут встретиться им в интернете, хотя и чуть отличающимся от большинства подобных сервисов способом. Как пишут на сайте SafeToNet, «это новаторская технология, которая обучает детей (нормам поведения в сети.— “Ъ”) прямо во время использования девайса… Оно предотвращает секстинг, травлю, оскорбления и агрессию».

«Мы исходим из идеи, что существующие системы родительского контроля… просто недостаточно хороши,— отмечают создатели приложения.— Они не в курсе дел в отношении цифрового мира и, в частности, мира, в котором дети общаются. Это скорее Snapchat и Instagram, а не Facebook, в общем, идея понятна».

Использование приложения стоит £2,99 ($3,9) в месяц или £31,99 ($41,6) в год. Основная функция приложения — «умная клавиатура», которая анализирует сообщения, составляемые детьми, и фильтрует их в режиме реального времени.

Например, если ребенок пишет кому-то «Я тебя ненавижу» или «Ты идиот», приложение предлагает ему подумать перед тем, как отправлять такое сообщение, и представить, как себя почувствует тот, кому напишут такое. Приложение также показывает ребенку разные карточки с советами о том, как стоит или не стоит вести себя в интернете.

В более ранних версиях приложение анализировало и входящие сообщения, теперь такой функции нет. Анализируя переписку, приложение определяет, не расстроен ли ребенок, не находится ли он в состоянии стресса, не подвергается ли травле и не участвует ли в ней сам.

В случае необходимости приложение может заблокировать те или иные действия на смартфоне ребенка, например, доступ к камере в случае подозрений на секстинг. Если же ребенок считает, что приложение неверно заблокировало его сообщение, он может нажать специальную кнопку для «апелляции» в приложении или обратиться к родителю.

В SafeToNet есть индикатор безопасности, который отражает защищенность ребенка в отношении самых разных рисков в интернете и может меняться в течение дня. Этот индикатор отражается и на гаджете родителя, установившего это приложение, и на устройстве самого ребенка. На индикатор влияют такие факторы, как оценка уровня риска отправляемых ребенком сообщений, сколько написанных ребенком сообщений было отфильтровано приложением (это может свидетельствовать, например, об уровне агрессии), в какое время суток ребенок пишет сообщения, изменилось ли поведение ребенка в сравнении с обычным (например, если сообщения короче и чаще, есть вероятность, что ребенок с кем-то спорит или ссорится).

Раньше родители могли блокировать устройство в целом, например, перед сном или когда ребенок делает уроки. Теперь эта функция отключена, так как по замыслу создателей она используется скорее для наказания детей, чем для их защиты от онлайн-опасностей.

В SafeToNet говорят, что фильтрацией контента занимается искусственный интеллект, так что сотрудники компании не получают доступ к переписке детей.

Система не просто реагирует на «неподходящие» слова, но и оценивает целый ряд факторов, чтобы оценить отправляемые ребенком сообщения.

Кроме того, приложение учится опознавать видоизмененные слова и сленг, например, «h8» вместо «hate» (ненависть).

Притом создатели SafeToNet отмечают, что с контролем за детьми в интернете не нужно переусердствовать. «Наша работа, конечно, не в том, чтобы их контролировать,— совсем наоборот. Здесь цель дать возможность, дать свободу делать такие вещи. Это не разбивание ореха кувалдой, как многие из существующих систем родительского контроля. Я считаю, они приносят больше вреда, чем действительно помогают и защищают, потому что родители не знают, как ими пользоваться»,— отмечает Ричард Перси.

По мнению господина Перси, не стоит слишком волноваться и по поводу использования детьми слов и выражений, связанных с сексом: «Мы не думаем, что это так зловеще, как кажется на первый взгляд. Мы считаем, что это скорее своего рода инициация, такие вещи больше об этом, чем о реальных сексуальных действиях».

После публикации таких данных SafeToNet стали обвинять в шпионаже. Как сообщает британский телеканал Sky, специалист по кибербезопасности, пожелавший называться по своему нику в Twitter @NetworkString, выяснил, что в SafeToNet есть список рекламодателей, получивших доступ к данным о поведении детей в интернете.

Господин Перси уже заявил, что компания никогда не шпионила за детьми, а кроме того, в последние версии приложения внесен ряд изменений. Например, невозможность чтения входящих сообщения или блокировки телефона родителями.