«Мы хотим монетизировать экспертизу в краудсорсинге»

Зачем «Яндексу» крауд-платформа «Толока»
и как на этом заработать


8 апреля 2019

(SOCIAL_BUTTONS)

«Яндекс.Толока» — краудсорсинговый проект с 4 млн исполнителей, созданный в 2014 году для разметки большого количества данных и их последующего использования в алгоритмах машинного обучения. Клиентами сервиса становятся как подразделения «Яндекса», так и внешние заказчики — IT-компании, ритейлеры и представители других индустрий.

В апреле 2019 года «Толока» запускает партнёрскую программу, в рамках которой будет перенаправлять внешних заказчиков компаниям-партнёрам (или индивидуальным исполнителям) для подготовки соответствующих проектов и выполнения задач.

Rusbase поговорил с Ольгой Мегорской, руководителем «Яндекс.Толоки», и узнал, что представляет из себя сервис и для чего запускается партнёрская программа, какие задачи краудсорсинг помогает решать бизнесу и как добиться от этого инструмента максимальной эффективности, а также о состоянии рынка краудсорсинга в России и за рубежом, интересных проектах и будущем крауда и искусственного интеллекта.
Ольга Мегорская, руководитель «Яндекс.Толоки»
— В качестве введения в тему — не могли бы вы дать своё определение понятию «краудсорсинг»?
— Мы обычно говорим, что краудсорсинг — это такой способ организации бизнес-процессов, когда одна масштабная задача раскладывается на простые составные части и отдаётся в большое облако исполнителей. И получается, что каждый отдельный человек решает небольшую и не очень сложную задачу, но их усилия, собранные вместе, приводят к решению задачи глобальной и высокоуровневой.

Краудсорсинг появился около 15 лет назад и в основном применяется в области машинного обучения и сбора данных для него. Но не только там. Есть разные интересные примеры использования мудрости толпы.

NASA выкладывают фотографии, сделанные космическим телескопом, на специальный сайт, где любой желающий может зарегистрироваться, рассматривать эти фотографии и искать на них интересные новые объекты. И когда много-много людей посмотрели и нашли на определённой фотографии какой-то объект, подключаются специалисты NASA и более глубоко исследуют эти снимки. В прошлом году, кажется, была новость, что они таким образом открыли новый коричневый карлик в космосе — именно благодаря энтузиастам из интернета.

Рейксмюсеум в Амстердаме использует краудсорсинг для оцифровки и каталогизации своих экспонатов из запасников. На сайте может зарегистрироваться любой человек. Сначала он сдаёт минимальный тест на общекультурный уровень, и дальше может находить интересные для себя сканы картин, книг и других экспонатов, проставлять теги к ним и описывать предметы и сюжеты. Под капотом есть нетривиальная механика того, как они проверяют качество этих описаний. Но сама по себе идея — очень интересная и правильная.

Эти примеры как раз демонстрируют, что хотя сама по себе задача очень сложная и требует высокой квалификации (и кажется, решить её может только кандидат наук, уникальный специалист, который будет делать это 50 лет), можно подойти к ней с другой стороны — декомпозировать, к каким-то частям этого процесса привлечь крауд и таким образом без потери качества добиться результатов гораздо быстрее.
— Расскажите немного про историю «Яндекс.Толоки». Насколько я понимаю, изначально сервис создавался для решения внутренних задач «Яндекса»?
— В «Яндексе» история сбора данных для машинного обучения началась давно — 10 лет назад у нас появились первые асессоры, люди, которые собирали оценки релевантности документов, найденных «Яндекс.Поиском» по поисковым запросам. Эти данные использовались для настройки алгоритмов ранжирования. Отсюда слово «асессор» — от «асессмент» — потому что они предоставляли оценки качества «Поиска».

Но со временем количество задач росло, и мы поняли, что никаким внутренним штатом сотрудников их не покрыть. И в конце 2014 года мы запустили «Толоку» как открытую площадку, где любой желающий мог зарегистрироваться и выполнять задачи.

Сейчас у нас около 4 млн зарегистрированных пользователей, каждый месяц выполняют задания и получают деньги больше 100 тысяч человек, и за прошлый год в наших проектах в «Толоке» поучаствовало больше миллиона людей. Каждый день доступно около 500 разных проектов, а исполнители производят примерно 5 млн единиц разметки в сутки. Это очень наглядный рост — мы начинали 10 лет назад с нескольких десятков асессоров, а в 2018 году пришли к миллиону исполнителей.
«Яндекс.Толока» в цифрах
4 млн
Зарегистрированных пользователей
>100 тыс
Исполнителей выполняют задания и получают деньги каждый месяц
>1 млн
Людей поучаствовало в проектах в 2018 году
500 проектов
Доступно в системе каждый день
5 млн
Единиц разметки в сутки производят исполнители
2014
Год основания «Яндекс.Толоки»
— У нас есть 4 основных направления, в которых мы используем «Толоку» внутри проектов «Яндекса»:
1
Сбор и обработка данных
Самое большое — это сбор и обработка данных для самых разных проектов, связанных с машинным обучением, речевыми технологиями, компьютерным зрением (например, для беспилотников), умными алгоритмами «Поиска» и так далее.
2
Модерация контента
Второе большое направление — это задачи, связанные с модерацией контента. Например, в социальных сервисах, где нужно модерировать комментарии, работает подход human-in-the-loop. Сначала объекты обрабатываются автоматическими алгоритмами и классификаторами, а кейсы, когда классификатор не уверен в вердикте, отправляются на доразметку в «Толоку». Так мы решаем очень много задач, например, модерируем разговоры в «Яндекс.Картах».
3
Полевые задания
Третье большое направление, которое мы любим и которым гордимся — это наши так называемые полевые задания. У «Толоки» есть мобильное приложение с задачами, которые можно выполнять не только в онлайне, но и в физическом мире. В частности мы используем это для задач актуализации данных об организациях в «Справочнике».

Мы просим толокера подойти на какую-то точку и сфотографировать, например, дверь в магазин. Далее с помощью этой фотографии мы актуализируем информацию об этом магазине: работает ли он, какой у него график и так далее. Каждый день такие полевые задания в своих городах выполняют несколько тысяч человек. Многие использует это просто как квест — походить по своему району, посмотреть на какие-то места и заодно заработать деньги.
4
Оптимизация внутренних бизнес-процессов
Новое направление, которое мы развиваем — это использование «Толоки» для оптимизации внутренних бизнес-процессов. Есть очень много задач в организации, для которых какую-то рутинную часть можно декомпозировать и отдать в крауд.

«Толока» помогает SMM отбирать те упоминания «Яндекса», на которые стоит отреагировать нашим специалистам в соцсетях — например, где человек столкнулся с какой-то проблемой и ему необходима помощь сотрудника. Или размечать упоминания по тональности на позитивные и негативные — потому что автоматика зачастую с этим справляется плохо, например, не умеет распознавать сарказм в интернете. Другой пример — мы очень активно переносим все задачи ручного тестирования в крауд.
— Расскажите про партнёрскую программу, которую вы запускаете. Какие у неё цели?
— В целом идея партнёрской программы родилась из следующей проблемы: «Толока» — это действительно очень мощный инструмент, тысячи исполнителей, миллионы единиц разметки. «Толока» обладает огромными возможностями. Но при этом надо признать, что порог входа в эту систему достаточно высок. То есть будучи заказчиком, нельзя просто прийти, запустить задание и получить качественный результат. Мы видим, что для этого нужно серьезно продумать сам бизнес-процесс, по которому будет производиться работа в «Толоке». И зачастую это действительно нетривиальная экспертиза. У нас внутри «Яндекса» даже сформировался отдел специалистов по работе с «Толокой».

Но даже те заказчики, которые обладают необходимой экспертизой, иногда просто не готовы тратить на это своё время — например, если нужно запустить какой-то проект за 10 тысяч рублей и потратить при этом одну-две недели работы квалифицированного специалиста на настройку. И хотя на выходе это даёт бесконечно масштабируемый и конвейеризированный процесс, который может работать без какого-либо оперативного вмешательства, не все готовы тратить ресурсы на запуск проекта. Мы довольно долго думали, что с этим делать.

Сейчас заказчики, приходя в «Толоку», могут выбрать два варианта работы — сами запустить проект или, если у них не получается, обратиться к нам, чтобы мы сделали им проекты под ключ. Но мы понимаем, что это не наш бизнес, и кроме того это не сильно масштабируется. Мы видим, что количество заказчиков растёт, а наши мощности по удовлетворению всех проектами под ключ не могут расти сопоставимо. Поэтому мы пришли к идее, что нам в этой экосистеме не хватает ещё одной роли — специалистов, которые бы помогали заказчикам настраивать сложные бизнес-процессы в «Толоке».
Мы видим, что среди наших заказчиков есть очень талантливые люди, которые запускают классные проекты. И мы бы хотели, чтобы экспертиза, которая уже ценится на рынке, могла монетизироваться: чтобы заказчики могли соединяться с партнёрами и с более низким порогом заходить в систему «Толоки».
— Вы будете направлять своих заказчиков партнёрам — не лишает ли это работы исполнителей «Толоки»?
— Нет, потому что, согласно условиям партнёрства с «Толокой», свои проекты партнёры запускают именно в нашей системе. Поэтому наоборот — мы скорее ожидаем, что это поможет привлечь больше заказчиков и соответственно делать больше заданий для исполнителей.
— Что необходимо, чтобы стать партнёром «Толоки»?
— У нас есть несколько условий сертификации партнёров, которые мы опубликуем на сайте. В первую очередь, чтобы стать партнёром «Толоки», нужно регулярно запускать какие-либо задачи в системе — мы будем на них смотреть и ставить свой знак качества.
— Сколько у вас сейчас партнёров?
— Поскольку мы только открыли и анонсировали эту программу, конкретной цифры нет, мы еще присматриваемся к потенциальным партнёрам. Но для нас важно, что партнёрами могут стать не только компании, но и отдельные частные специалисты. Я надеюсь, что в итоге на рынке появится новая профессия, новый способ для людей монетизировать свою уникальную экспертизу по настройке проектов в крауде.
— Сколько у вас заказчиков? И какая часть из ваших проектов принадлежит внешним заказчикам, какая — «Яндексу»?
— Львиная доля заказов приходится на «Яндекс». Однако доля активных внешних заказчиков постоянно растёт — только за последние полгода их было несколько сотен.
— На встрече «Толока для бизнеса» в сентябре 2018 года вы говорили, что в 2018 году случился некий перелом, и у вас стало появляться всё больше внешних заказчиков. Как вы думаете, с чем это было связано? С бумом искусственного интеллекта или какими-то ещё факторами?
— Это хороший вопрос, и мы по-честному сами не знаем на него ответ, но тенденцию наблюдаем очень явно.

Кажется, что с одной стороны это действительно связано с развитием машинного обучения — если раньше эта технология была уделом небольшого количества крупных компаний, сейчас ей пользуются почти все. А там, где есть машинное обучение, всегда возникает вопрос данных, которые будут использоваться для настройки модели.

Понятно, что содержать свой собственный крауд или штат разметчиков — это очень тяжелая со всех точек зрения задача. И, что самое неудобное, — как правило все заказы, связанные с разметкой данных, нерегулярны. То есть когда-то есть большой заказ, когда-то его нет. И все сталкиваются с проблемой, что очень сложно поддерживать хорошую производительность в системе — для этого либо нужно держать большое количество людей, которые будут периодически сидеть без дела, либо небольшую команду, которая не сможет быстро покрыть пиковую нагрузку.

В этом плане подключение к большой платформе, на которой уже есть много заказчиков и много исполнителей, — это win-win история для всех. Можно не волноваться и не думать, как решить эту классическую проблему, потому что при пиковой нагрузке в такой системе всегда найдётся достаточное количество исполнителей. При этом если на сегодняшний день у какого-то заказчика нет нагрузки, в системе всегда есть другие задачи, для решения которых можно задействовать людей. Поэтому компаниям в целом выгодно подключаться именно к большой, уже сформировавшейся платформе крауда.
— Какие задачи краудсорсинг, и «Толока» в частности, помогает решать бизнесу? Для каких индустрий и задач краудсорсинг наиболее актуален, исходя из вашего опыта?
— Есть очень много самых разных сценариев. Я выделила несколько, с которыми к нам часто приходят именно внешние бизнесы.
Задачи для машинного обучения
Самая большая часть — это различные задачи для машинного обучения, разметка данных для речевых технологий, сегментация изображений для компьютерного зрения, разметка объектов для классификации и так далее. Это огромный пласт, за этим все приходят в Толоку, потому что система позволяет очень быстро получить много данных, которые потом можно использовать в обучении своих моделей.
Модерация контента
Второй большой пласт — это задачи, связанные с модерацией контента. Всё, что связано с модерацией в режиме реального времени, — это популярные кейсы, которые очень хорошо отрабатываются в Толоке.
Оцифровка рукописного текста
Часто к нам приходят с задачами, связанными с оцифровкой рукописного текста — когда есть какие-то сканы бумаг и нужно перевести это в машиночитаемый вид.
Полевые задания
Полевые задания, связанные с мобильной «Толокой», довольно популярны у внешних заказчиков — когда люди хотят, например, проверить, как их товар выложен на полке, насколько он чистый и аккуратный. С помощью мобильной «Толоки» можно одновременно работать с разными регионами и выполнить эту задачу в любом, даже самом отдалённом, населенном пункте.
Оценка бок о бок
Ещё один интересный кейс — то, что любят, например, дизайнеры. Это метод, который мы называем side by side, или оценка бок о бок. Это способ опросов, когда мы показываем толокерам два объекта и просим их проголосовать за один из них. Это очень прикольный и интересный способ оцифровки субъективных ощущений, потому что часто заказчику сложно задать формальный конкретный вопрос, а человеку трудно на него ответить. Но когда исполнитель видит два объекта, ему довольно легко выбрать, какой из них ему нравится больше.

Такой подход мы можем использовать для сравнения нескольких вариантов логотипа. За 10 минут можно опросить тысячу человек, отранжировать логотипы по их привлекательности, а ещё попросить толокеров написать комментарии, собрать быстрый содержательный фидбек о том, что людям нравится, что — нет.
Конечно, это не исчерпывающий список — фантазия может работать очень долго. Так что это интересный инструмент, которым может пользоваться самый разный бизнес независимо от размера.

По поводу индустрий: заказчики просто приходят в «Толоку» и сами организуют процессы, поэтому про некоторые мы можем даже не знать. Но в первую очередь это интернет. Есть новое направление — сельское хозяйство. У нас были истории, связанные с умными решениями в области медицины — компьютерное зрение, направленное, например, на контроль выполнения определённых гигиенических процедур. Ритейл — ему важно, насколько правильно товар стоит на полке.
— Как сделать использование краудсорсинга наиболее эффективным? Каких правил следует придерживаться бизнесу при использовании этого инструмента?
— Это действительно фундаментальный вопрос. Он в том числе объясняет, почему мы пришли к идее создания партнёрств — потому что, я повторюсь, порог входа в эту технологию достаточно высок. Мы любим говорить, что краудсорсинг — это такая история, когда ты снимаешь требования к экспертизе с конечного исполнителя и перекладываешь их на организованный бизнес-процесс. Мы очень малого требуем от толокеров, очень многого — от того, насколько настроена вся механика обработки результатов их работы.

Есть несколько базовых пунктов, о которых нужно помнить:
1
Сложную задачу всегда нужно декомпозировать на много простых
И чем лучше мы сможем декомпозировать задачу, тем лучше будет результат. На эту тему есть научные исследования, и мы много раз это подтверждали на собственном опыте. Всегда, если один объект нужно расклассифицировать по 30 классам, лучше сделать 30 заданий, в которых объект нужно будет распределить по бинарной шкале. Это позволит на выходе получить более высокое качество результатов быстрее, потому что каждая отдельная задача становится доступной большему количеству исполнителей.
2
На старте нужно чётко понимать, что именно ты от людей просишь, и уметь формулировать и формализовывать требования
Зачастую люди говорят: «Я даю задания и рассчитываю, что человек посмотрит и исходя из своего здравого смысла примет решение». Но до тех пор, пока заказчик не начинаете работать с краудом, он не представляет, как много самых разных здравых смыслов может быть у людей. Не потому, что они не стараются или с ними что-то не так. Действительно, сколько людей, столько мнений, и мы много раз в этом убеждались. Поэтому, чтобы получить ожидаемый результат, нужно очень сильно постараться и хорошо формализовать постановку задачи.
3
Обязательно иметь в работающих на крауде процессах какой-то контроль качества
У нас есть несколько базовых приёмов.

В первую очередь мы используем задания-ловушки. Это задания, на которые нам заранее известен правильный ответ — мы подмешиваем их в задачи, которые выдаём в «Толоку», и следим, правильно или нет человек отвечает. На основе этих данных мы можем экстраполировать и предполагать, правильно или нет он решает все остальные задачи, для которых мы ответов не знаем.

Другой основополагающий подход, который мы всегда используем в работе с краудом — перекрытие. Каждое задание мы обязательно выдаём разным людям для того, чтобы собрать несколько мнений. Есть модели, которые позволяют предполагать, насколько мнению каждого конкретного исполнителя можно доверять, какое мнение из множества представленных стоит выбрать как финально верное. На основе этих данных можно прогнозировать ожидаемую надёжность исполнителя в следующих заданиях. Мы даже предсказываем качество ответа и можем заранее говорить, стоит ли перепроверить ответ, например, ещё пятью людьми или достаточно спросить ещё только одного.

Третий базовый инструмент контроля качества — это пост-проверка, когда после выполнения задания мы его проверяем и, если удовлетворены его качеством, выплачиваем деньги толокеру. Мы любим всё декомпозировать и масштабировать, поэтому задания по приёмке тоже отправляем в «Толоку». Получается такая последовательность — один толокер выполняет задание, другие проверяют, правильно оно было сделано или нет, и в зависимости от их вердикта мы принимаем или не принимаем первое задание.
Есть очень много разных подходов. К сожалению, жизнь так устроена, что если об этом не думать, то хорошего качества в работе с краудом получить практически невозможно. Это плата за в остальном мощные и большие возможности этого инструмента.
— Можете ли вы привести какие-нибудь яркие и интересные примеры того, как «Толока» / краудсорсинг помогли бизнесу?
Беспилотные автомобили «Яндекса»
Актуальный и любимый пример — это беспилотные автомобили «Яндекса». Технологической основой работы беспилотников является система компьютерного зрения, которая позволяет им ориентироваться в пространстве. Компьютерное зрение обучается на разметках из «Толоки». Причем у ребят построен очень мощный конвейер — они регулярно поставляют всё новые и новые изображения дорог, пешеходов, машин и других объектов, которые сегментируются толокерами. На основе этих разметок постоянно переобучается модель.
Модерация на площадках Rambler.Group
Другой пример — от наших внешних партнёров. Rambler Group активно использует «Толоку» для модерации комментариев на всех своих площадках. Комментарии сначала отрабатывает автоматика, а сложные кейсы подхватывают люди. Переход к «Толоке» у них, по-моему, позволил снизить затраты на модерацию больше чем на 70%.

Но интересно даже не это, а то, что с помощью «Толоки» удалось построить масштабируемый процесс. Например, во время чемпионата мира по футболу такие сайты как «Чемпионат» получали огромное количество трафика и очень много комментариев. «Толока» как система справилась с этим без проблем благодаря большому количеству исполнителей, и вся эта история прошла для процесса практически незаметно. Просто стало больше заданий, к ним подключилось больше исполнителей, и ни качество, ни скорость реакции не просели.
Чистота машин в «Яндекс.Такси»
Мне нравится наш кейс с «Яндекс.Такси» — толокеры помогают следить за качеством и чистотой машин в сервисе. Каждое утро таксист делает несколько фотографий своей машины, они отправляются на автоматическую обработку, и всё, что можно распознать, распознаёт нейронная сеть, а более сложные вопросы уходят в «Толоку» Мы опрашиваем несколько толокеров, чтобы вынести вердикт о том, достаточно ли чистый автомобиль выходит на работу.
Обновление «Яндекс.Справочника»
Я уже говорила про «Яндекс.Справочник»: система мобильной «Толоки» — это очень мощный инструмент, благодаря которому «Справочник» получил возможность актуализировать данные об организациях в самых маленьких городах с населением 10 тысяч человек. У организаций зачастую нет ни сайта, ни телефона. Только наличие мобильного крауда, который распределён по всем регионам страны, позволяет нам такие данные собирать и иметь актуальную информацию на картах.
Фото: «Яндекс»
— В каких случаях использование крауда нецелесообразно?
— Краудсорсинг и «Толока» — это всегда история про масштабируемые процессы, когда нужно поставить производство на поток. И если, условно, заказчику нужно отредактировать один текст и он ищет на это исполнителей, гораздо проще прийти на биржу фриланса. Задачу можно решить с помощью крауда, но на это уйдёт несопоставимо больше усилий и нервных клеток, чем оно того стоит.

Другое дело — если нужно редактировать по тысяче текстов в день. Тогда уже стоит задуматься о «Толоке» и настроить сложный пайплайн, который будет такое производство предоставлять. И любые штучные, единоразовые проекты не очень целесообразно решать с помощью крауда.
Насколько краудсорсинг сейчас распространён в России?
— Когда мы начинали делать «Толоку» (в 2014 году. — Прим.), он вообще не был распространён — поэтому нам и пришлось создать собственную платформу. По нашей информации, сопоставимых по масштабу проектов с «Толокой» сейчас нет. Я бы сказала, что «Яндекс» является флагманом в этом направлении — не так сильно краудсорсинг развивался до сих пор в других компаниях в России.
— Насколько развиты эти технологии на Западе? Вы ведь изначально создавали сервис, ориентируясь на иностранных игроков, которых не было в России, верно?
— Мы в первую очередь ориентировались на самую крупную, известную и старейшую платформу Amazon Mechanical Turk. У неё любопытное название — «механический турок». В XVIII веке один изобретатель создал робота, который очень хорошо играл в шахматы. Робот был наряжен в турка — в чалме и шароварах. Он обыгрывал всех и произвёл большой фурор, а потом оказалось, что внутри этого робота сидит человек.

И это такая метафора — что за всем искусственным интеллектом на самом деле прячутся люди. В честь этого была названа платформа. Все крупнейшие интернет-компании на Западе используют Amazon Mechanical Turk для решения своих задач. Но нам он, к сожалению, не подходит именно потому, что там и аудитория только англоязычная, в основном из Индии, и есть очень серьёзные ограничения на заказчиков — ими могут быть только американские компании.

На базе Mechanical Turk этот рынок развивается уже довольно давно. Есть много игроков, в основном они стали специализироваться на определённых нишах.

Есть компания Mighty AI, которая концентрируется на сегментации и компьютерном зрении. Она собирает данные и продаёт датасеты заинтересованным клиентам.
Есть компании, которые используют крауд для оценки релевантности результатов поиска, а потом данные предоставляют заказчикам из этой сферы. Есть компания Samasource — это некоммерческая организация, которая собирает задачи на разметку, а потом привлекает к решению исполнителей из стран с высоким уровнем безработицы, позволяя людям иметь дополнительный источник заработка.
Структура, когда выделяются отдельные вертикали с экспертизой в сборе данных на базе крауда для определённых направлений — примерно так мы видим нашу экосистему с партнёрствами.
Мы верим, что будут возникать партнёры со специализацией на разных областях — на полевых заданиях, на речевых технологиях, на компьютерном зрении и так далее.
— Как будет развиваться рынок и технология, какие у крауда перспективы, на ваш взгляд?
— Внутри «Яндекса» мы часто сравниваем «Толоку» и технологии краудсорсинга с контекстной рекламой. Когда она только появилась, это была совершенно новая для всех технология. Потребовалось несколько лет для того, чтобы рассказать бизнесу, для чего это нужно и как это использовать. Ведь по сути контекстная реклама — это тоже история с достаточно высоким порогом входа, важно, как её правильно настроить. Однако теперь ни один бизнес не представляет себе существования без этого инструмента.

Кажется, что чем больше будет развиваться машинное обучение и искусственный интеллект, тем больше будет потребность в данных. Поэтому я думаю, что это направление будет неизбежно расти.

Конкретно для «Толоки» мы ожидаем роста спроса со стороны заказчиков и новых задач и предметных областей для исполнителей. У нас уже появляются любопытные заказы, связанные, например, с сельским хозяйством — задачи вроде определения нужной коровы на фотографии. Мы думаем, что будет появляться больше интересных, может быть, более высокоуровневых задач для исполнителей в крауде.
— Как вы думаете, может ли использование краудсорсинга развить искусственный интеллект до той стадии, когда крауд больше не понадобится?
— Ещё 10 лет назад, когда у нас только появились асессоры, мы тоже всё время думали — ну вот сейчас мы обучим этот алгоритм и на этом всё закончится. Но с тех пор мы выросли от нескольких десятков человек до миллиона исполнителей.

Практически все задачи, которые отправляются на разметку в «Толоку», работают по следующему принципу: сначала собираются первичные данные, на них обучается модель и эти данные автоматика уже умеет обрабатывать не хуже человека. Но всегда остаётся какой-то хвост задач, в которых автоматика ещё не работает. Такие более сложные задачи отправляются в «Толоку». После этого модель переобучается, становится умнее, однако хвост по-прежнему остаётся. При этом появляются новые предметные области, в которых нужно проделывать то же самое.
Поэтому мы не видим перспективы, когда задачи для человека закончатся совсем. Мы скорее ожидаем, что задачи будут становиться всё более сложными.
©Rusbase, 2019
Автор: Татьяна Петрущенкова
Фото: Madrabothair, Depositphotos

(SOCIAL_BUTTONS)
Made on
Tilda