«Мы хотим монетизировать экспертизу в краудсорсинге»

— Мы обычно говорим, что краудсорсинг — это такой способ организации бизнес-процессов, когда одна масштабная задача раскладывается на простые составные части и отдаётся в большое облако исполнителей. И получается, что каждый отдельный человек решает небольшую и не очень сложную задачу, но их усилия, собранные вместе, приводят к решению задачи глобальной и высокоуровневой.

Краудсорсинг появился около 15 лет назад и в основном применяется в области машинного обучения и сбора данных для него. Но не только там. Есть разные интересные примеры использования мудрости толпы.

• NASA выкладывают фотографии, сделанные космическим телескопом, на специальный сайт, где любой желающий может зарегистрироваться, рассматривать эти фотографии и искать на них интересные новые объекты. И когда много-много людей посмотрели и нашли на определённой фотографии какой-то объект, подключаются специалисты NASA и более глубоко исследуют эти снимки. В прошлом году, кажется, была новость, что они таким образом открыли новый коричневый карлик в космосе — именно благодаря энтузиастам из интернета.

• Рейксмюсеум в Амстердаме использует краудсорсинг для оцифровки и каталогизации своих экспонатов из запасников. На сайте может зарегистрироваться любой человек. Сначала он сдаёт минимальный тест на общекультурный уровень, и дальше может находить интересные для себя сканы картин, книг и других экспонатов, проставлять теги к ним и описывать предметы и сюжеты. Под капотом есть нетривиальная механика того, как они проверяют качество этих описаний. Но сама по себе идея — очень интересная и правильная.

Эти примеры как раз демонстрируют, что хотя сама по себе задача очень сложная и требует высокой квалификации (и кажется, решить её может только кандидат наук, уникальный специалист, который будет делать это 50 лет), можно подойти к ней с другой стороны — декомпозировать, к каким-то частям этого процесса привлечь крауд и таким образом без потери качества добиться результатов гораздо быстрее.

— В «Яндексе» история сбора данных для машинного обучения началась давно — 10 лет назад у нас появились первые асессоры, люди, которые собирали оценки релевантности документов, найденных «Яндекс.Поиском» по поисковым запросам. Эти данные использовались для настройки алгоритмов ранжирования. Отсюда слово «асессор» — от «асессмент» — потому что они предоставляли оценки качества «Поиска».

Но со временем количество задач росло, и мы поняли, что никаким внутренним штатом сотрудников их не покрыть. И в конце 2014 года мы запустили «Толоку» как открытую площадку, где любой желающий мог зарегистрироваться и выполнять задачи.

Сейчас у нас около 4 млн зарегистрированных пользователей, каждый месяц выполняют задания и получают деньги больше 100 тысяч человек, и за прошлый год в наших проектах в «Толоке» поучаствовало больше миллиона людей. Каждый день доступно около 500 разных проектов, а исполнители производят примерно 5 млн единиц разметки в сутки. Это очень наглядный рост — мы начинали 10 лет назад с нескольких десятков асессоров, а в 2018 году пришли к миллиону исполнителей.

— У нас есть 4 основных направления, в которых мы используем «Толоку» внутри проектов «Яндекса»:

— В целом идея партнёрской программы родилась из следующей проблемы: «Толока» — это действительно очень мощный инструмент, тысячи исполнителей, миллионы единиц разметки. «Толока» обладает огромными возможностями. Но при этом надо признать, что порог входа в эту систему достаточно высок. То есть будучи заказчиком, нельзя просто прийти, запустить задание и получить качественный результат. Мы видим, что для этого нужно серьезно продумать сам бизнес-процесс, по которому будет производиться работа в «Толоке». И зачастую это действительно нетривиальная экспертиза. У нас внутри «Яндекса» даже сформировался отдел специалистов по работе с «Толокой».

Но даже те заказчики, которые обладают необходимой экспертизой, иногда просто не готовы тратить на это своё время — например, если нужно запустить какой-то проект за 10 тысяч рублей и потратить при этом одну-две недели работы квалифицированного специалиста на настройку. И хотя на выходе это даёт бесконечно масштабируемый и конвейеризированный процесс, который может работать без какого-либо оперативного вмешательства, не все готовы тратить ресурсы на запуск проекта. Мы довольно долго думали, что с этим делать.

Сейчас заказчики, приходя в «Толоку», могут выбрать два варианта работы — сами запустить проект или, если у них не получается, обратиться к нам, чтобы мы сделали им проекты под ключ. Но мы понимаем, что это не наш бизнес, и кроме того это не сильно масштабируется. Мы видим, что количество заказчиков растёт, а наши мощности по удовлетворению всех проектами под ключ не могут расти сопоставимо. Поэтому мы пришли к идее, что нам в этой экосистеме не хватает ещё одной роли — специалистов, которые бы помогали заказчикам настраивать сложные бизнес-процессы в «Толоке».

— Нет, потому что, согласно условиям партнёрства с «Толокой», свои проекты партнёры запускают именно в нашей системе. Поэтому наоборот — мы скорее ожидаем, что это поможет привлечь больше заказчиков и соответственно делать больше заданий для исполнителей.

— У нас есть несколько условий сертификации партнёров, которые мы опубликуем на сайте. В первую очередь, чтобы стать партнёром «Толоки», нужно регулярно запускать какие-либо задачи в системе — мы будем на них смотреть и ставить свой знак качества.

— Поскольку мы только открыли и анонсировали эту программу, конкретной цифры нет, мы еще присматриваемся к потенциальным партнёрам. Но для нас важно, что партнёрами могут стать не только компании, но и отдельные частные специалисты. Я надеюсь, что в итоге на рынке появится новая профессия, новый способ для людей монетизировать свою уникальную экспертизу по настройке проектов в крауде.

— Львиная доля заказов приходится на «Яндекс». Однако доля активных внешних заказчиков постоянно растёт — только за последние полгода их было несколько сотен.

— Это хороший вопрос, и мы по-честному сами не знаем на него ответ, но тенденцию наблюдаем очень явно.

Кажется, что с одной стороны это действительно связано с развитием машинного обучения — если раньше эта технология была уделом небольшого количества крупных компаний, сейчас ей пользуются почти все. А там, где есть машинное обучение, всегда возникает вопрос данных, которые будут использоваться для настройки модели.

Понятно, что содержать свой собственный крауд или штат разметчиков — это очень тяжелая со всех точек зрения задача. И, что самое неудобное, — как правило все заказы, связанные с разметкой данных, нерегулярны. То есть когда-то есть большой заказ, когда-то его нет. И все сталкиваются с проблемой, что очень сложно поддерживать хорошую производительность в системе — для этого либо нужно держать большое количество людей, которые будут периодически сидеть без дела, либо небольшую команду, которая не сможет быстро покрыть пиковую нагрузку.

В этом плане подключение к большой платформе, на которой уже есть много заказчиков и много исполнителей, — это win-win история для всех. Можно не волноваться и не думать, как решить эту классическую проблему, потому что при пиковой нагрузке в такой системе всегда найдётся достаточное количество исполнителей. При этом если на сегодняшний день у какого-то заказчика нет нагрузки, в системе всегда есть другие задачи, для решения которых можно задействовать людей. Поэтому компаниям в целом выгодно подключаться именно к большой, уже сформировавшейся платформе крауда.

— Есть очень много самых разных сценариев. Я выделила несколько, с которыми к нам часто приходят именно внешние бизнесы.

Конечно, это не исчерпывающий список — фантазия может работать очень долго. Так что это интересный инструмент, которым может пользоваться самый разный бизнес независимо от размера.

По поводу индустрий: заказчики просто приходят в «Толоку» и сами организуют процессы, поэтому про некоторые мы можем даже не знать. Но в первую очередь это интернет. Есть новое направление — сельское хозяйство. У нас были истории, связанные с умными решениями в области медицины — компьютерное зрение, направленное, например, на контроль выполнения определённых гигиенических процедур. Ритейл — ему важно, насколько правильно товар стоит на полке.

— Это действительно фундаментальный вопрос. Он в том числе объясняет, почему мы пришли к идее создания партнёрств — потому что, я повторюсь, порог входа в эту технологию достаточно высок. Мы любим говорить, что краудсорсинг — это такая история, когда ты снимаешь требования к экспертизе с конечного исполнителя и перекладываешь их на организованный бизнес-процесс. Мы очень малого требуем от толокеров, очень многого — от того, насколько настроена вся механика обработки результатов их работы.

Есть несколько базовых пунктов, о которых нужно помнить:

Есть очень много разных подходов. К сожалению, жизнь так устроена, что если об этом не думать, то хорошего качества в работе с краудом получить практически невозможно. Это плата за в остальном мощные и большие возможности этого инструмента.

— Краудсорсинг и «Толока» — это всегда история про масштабируемые процессы, когда нужно поставить производство на поток. И если, условно, заказчику нужно отредактировать один текст и он ищет на это исполнителей, гораздо проще прийти на биржу фриланса. Задачу можно решить с помощью крауда, но на это уйдёт несопоставимо больше усилий и нервных клеток, чем оно того стоит.

Другое дело — если нужно редактировать по тысяче текстов в день. Тогда уже стоит задуматься о «Толоке» и настроить сложный пайплайн, который будет такое производство предоставлять. И любые штучные, единоразовые проекты не очень целесообразно решать с помощью крауда.

— Когда мы начинали делать «Толоку» (в 2014 году. — Прим.), он вообще не был распространён — поэтому нам и пришлось создать собственную платформу. По нашей информации, сопоставимых по масштабу проектов с «Толокой» сейчас нет. Я бы сказала, что «Яндекс» является флагманом в этом направлении — не так сильно краудсорсинг развивался до сих пор в других компаниях в России.

— Мы в первую очередь ориентировались на самую крупную, известную и старейшую платформу Amazon Mechanical Turk. У неё любопытное название — «механический турок». В XVIII веке один изобретатель создал робота, который очень хорошо играл в шахматы. Робот был наряжен в турка — в чалме и шароварах. Он обыгрывал всех и произвёл большой фурор, а потом оказалось, что внутри этого робота сидит человек.

И это такая метафора — что за всем искусственным интеллектом на самом деле прячутся люди. В честь этого была названа платформа. Все крупнейшие интернет-компании на Западе используют Amazon Mechanical Turk для решения своих задач. Но нам он, к сожалению, не подходит именно потому, что там и аудитория только англоязычная, в основном из Индии, и есть очень серьёзные ограничения на заказчиков — ими могут быть только американские компании.

На базе Mechanical Turk этот рынок развивается уже довольно давно. Есть много игроков, в основном они стали специализироваться на определённых нишах.

• Есть компания Mighty AI, которая концентрируется на сегментации и компьютерном зрении. Она собирает данные и продаёт датасеты заинтересованным клиентам.
• Есть компании, которые используют крауд для оценки релевантности результатов поиска, а потом данные предоставляют заказчикам из этой сферы. • Есть компания Samasource — это некоммерческая организация, которая собирает задачи на разметку, а потом привлекает к решению исполнителей из стран с высоким уровнем безработицы, позволяя людям иметь дополнительный источник заработка.

— Внутри «Яндекса» мы часто сравниваем «Толоку» и технологии краудсорсинга с контекстной рекламой. Когда она только появилась, это была совершенно новая для всех технология. Потребовалось несколько лет для того, чтобы рассказать бизнесу, для чего это нужно и как это использовать. Ведь по сути контекстная реклама — это тоже история с достаточно высоким порогом входа, важно, как её правильно настроить. Однако теперь ни один бизнес не представляет себе существования без этого инструмента.

Кажется, что чем больше будет развиваться машинное обучение и искусственный интеллект, тем больше будет потребность в данных. Поэтому я думаю, что это направление будет неизбежно расти.

Конкретно для «Толоки» мы ожидаем роста спроса со стороны заказчиков и новых задач и предметных областей для исполнителей. У нас уже появляются любопытные заказы, связанные, например, с сельским хозяйством — задачи вроде определения нужной коровы на фотографии. Мы думаем, что будет появляться больше интересных, может быть, более высокоуровневых задач для исполнителей в крауде.

— Ещё 10 лет назад, когда у нас только появились асессоры, мы тоже всё время думали — ну вот сейчас мы обучим этот алгоритм и на этом всё закончится. Но с тех пор мы выросли от нескольких десятков человек до миллиона исполнителей.

Практически все задачи, которые отправляются на разметку в «Толоку», работают по следующему принципу: сначала собираются первичные данные, на них обучается модель и эти данные автоматика уже умеет обрабатывать не хуже человека. Но всегда остаётся какой-то хвост задач, в которых автоматика ещё не работает. Такие более сложные задачи отправляются в «Толоку». После этого модель переобучается, становится умнее, однако хвост по-прежнему остаётся. При этом появляются новые предметные области, в которых нужно проделывать то же самое.