Могущество невидимого: мы не видим, а Data Science работает

Ще 5-10 років тому Data Science в сьогоднішньому розумінні ще не існувало. Алгоритми, здатні до навчання, почали з’являтися ще у 1960-х роках, а бізнес вже з початку 2000-х генерує та зберігає колосальні обсяги даних. Проте лише в останні кілька років широкому загалу стала доступна техніка з обчислювальною потужністю, достатньої для переходу кількості — в якість.

Інтернет-спільнота у 2008 році суттєво відрізнялася потребами користувачів і компаній. Соціальні мережі лише починали витісняти традиційні медіа, а мобільний інтернет мав не такі, як сьогодні, технічні можливості.

Але зараз ми живемо у зовсім іншому світі, де громадяни здатні самоорганізуватися за допомогою Facebook, а політикам і бізнесменам варто дуже обережно писати в Twitter. Це епоха прихованого існування великих даних і невидимого використання data science.

Вихід технології з шафи

У 2018 році хайп у ЗМІ був дуже корисним для індустрії: ще п’ять років тому data scientist мав годинами пояснювати на пальцях, як саме його робота може змінити на краще бізнес-показники клієнта. Сьогодні ж більшість людей просто подумає: «це ж штучний інтелект, тут все ясно». І це дуже добре для розвитку Data Science.

В минулому керівники компаній побоювалися вкладати значні кошти в застосування «великих даних». Окрім того, що багатьох відлякували значні витрати, результат від яких можна очікувати лише через значні проміжки часу, негативну роль відігравав той факт, що для пересічних споживачів нейромережі й машинне навчання існували наче у паралельному вимірі.

Сьогодні використання штучного інтелекту в бізнесі поступово перетворюється з ще однієї конкурентної переваги на головну умову виживання.

Порівняння зображень

Нейромережі здатні вирішувати складні технічні проблеми пошуку відповідності між зображеннями та кадрами відео. Класичні алгоритми можуть битись над цим завданням роками, а «розумні» — впораються за години й дні. Подібна експертиза відкрила українській компанії VideoGorillas шлях до контрактів з кіностудіями Голлівуду та Netflix.

Гіганти фабрики мрій потребували дієвого механізму порівняння оброблених кадрів — «нарізаних» та змонтованих чи покращених спецефектами — з багатогодинними архівами відзнятого матеріалу. Типово, що вирішення проблеми для клієнта — просто «магія». Результат важливий, але технічні складності його досягнення та геніальні ідеї розробників залишаються в полі зору лише самих розробників.

Ким потрібно бути та які здібності варто в собі розвинути, аби потрапити на роботу до вітчизняних піонерів Data Science? Може, потрібно бути програмістом із навичками написання промислового коду? Чи краще розумітися на електроніці й розбиратися у всіх новинках комп’ютерного заліза?

Насправді все це хоч і корисно, але не принципово: для початку роботи набагато важливіше — просто необхідно — розбиратися у теорії ймовірності, математичній статистиці й лінійній алгебрі. Нарешті настали часи, коли вчителька математики у відповідь на традиційне запитання учнів — «а для чого нам математика?» — чесно відповість: «щоб заробляти тисячі доларів на місяць».

Оптимізація комунікаційної стратегії

Спеціалістам важко переоцінити можливості штучних нейромереж в комунікаційній галузі — мільйони користувачів залишають в інтернеті «цифровий слід», який можна та потрібно аналізувати для отримання інсайтів для маркетингу чи репутаційного менеджменту. Ми не помічаємо цієї роботи, а просто дивуємося її результатам — персоналізованим зверненням, сформованими на основі наших уподобань і активності.

Подібні алгоритми використовуються комунікаційною групою AGAMA Communications у продукті — Brand Metrics, який дозволяє прогнозувати результати медіакампаній та покроково планувати їх реалізацію спільно з клієнтом, ефективно використовуючи медійні канали та правильно розподіляючи інвестиції.

Така робота вимагає не лише знань, але одночасно і творчого підходу, і посидючості, адже доводиться ретельно пройтися по всій лійці продажів клієнта, досконало зрозуміти механізм роботи бізнесу, а також — і це найбільший головний біль та найголовніше завдання — звести до спільного знаменника усі можливі дані, починаючи від зручних CSV-таблиць, і закінчуючи презентаціями PowerPoint чи навіть друкованими й рукописними документами.

Отже, бізнесу варто докладати зусиль для того, аби поступово уніфікувати й структурувати всі ті дані, які накопичуються під час роботи — в майбутньому це зекономить час і гроші. Відверто кажучи, це варто було почати робити ще 10 років тому. Але сьогодні ще можна встигнути вскочити в останній вагон потяга, що мчить на швидкості.

Складання туристичних маршрутів

Сучасний рівень розвитку технологій дозволяє нейромережам непомітно вирішувати навіть дуже складні завдання. Користувачі зазвичай не дуже цікавляться, як їхній улюблений сервіс шукає квитки чи планує подорож містом. Наприклад, український проект Curiosio від компанії Ingeenee призначений для розв’язання дещо модифікованого варіанту задачі комівояжера: програма підбирає оптимальний маршрут в залежності від вподобань, бюджету та вільного часу користувачів.

При цьому, розумний алгоритм з легкістю упорається з 20-25 й більше проміжними пунктами призначення — завдяки вдалому поєднанню апріорних знань із «розумними» алгоритмами вдалося значною мірою подолати класичні обмеження математики цього процесу.

Майбутнє світу Data Science

Вочевидь, обробка великих даних та тотальна автоматизація з використанням нейромереж і глибинного навчання будуть непомітно замінювати менш ефективні застарілі методи роботи.

Вже сьогодні ми користуємося десятками сервісів, лише приблизно здогадуючись, що вони застосовують можливості Data Science. Незабаром може настати час, коли не залишиться таких галузей, де б не використовувався штучний інтелект. Найближчою професією, на які він планує посягнути, є юристи.