Чи буде новий блекаут? Що кажуть ІТ-директори компаній і як готуються

Запитайте будь-якого IT-директора в Україні про ймовірність повторення масових відключень світла, і відповідь буде впевненою: шанси високі. Компанії більше не сподіваються на стабільність загальної енергосистеми, а будують власну "цифрову фортецю". Ми поспілкувалися з представниками кількох українських компаній та дізналися, як вони готуються до нової можливої хвилі масових відключень електрики у країні.

"Залізо" вирішує: генератори та їхні "підводні камені"

Здавалося б, проста істина: немає світла — увімкни генератор. Саме цей підхід дозволив багатьом організаціям втриматися на плаву за часів масових відключень електрики. "Генератори та хмара — ось усе, що нам треба для роботи в темряві", — ділиться досвідом Володимир Володимирович, IT-директор ТРІУМФ МЕДІА ГРУП. Його компанія, що керує мережею кінотеатрів, продовжувала показувати українцям кіно навіть під час тотальних відключень, і витрати на генерацію повністю себе виправдали.

Але навіть найкраща інвестиція потребує уваги, і ось тут є багато нюансів.

Як зазначає Артем Малюк, досвідчений фахівець De Novo у галузі ІТ-інфраструктури: "навіть найкраща інвестиція потребує уваги. У першу чергу це стосується джерел безперебійного живлення (ДБЖ): їхні батареї поступово деградують, втрачають ємність і можуть видати лише частину очікуваного часу роботи. Не менш критично і з генераторами — вони з часом зношуються, а після тривалого простою взагалі можуть не запуститися у потрібний момент. Важливо не лише мати резервне живлення, а й регулярно перевіряти його в роботі. Ми рекомендуємо тестування швидкого перемикання на ДБЖ та генератори. Це дозволяє бути впевненими, що в момент істинної потреби обладнання не підведе".

Тобто ключовим питанням стає не лише наявність резервного живлення, а його регулярне тестування під фактичним навантаженням. До того ж не варто економити на обладнанні. Як зазначає В’ячеслав Жук, DevOps архитектор Nexcore та БФ "Повернись Живим": "Дешевий пристрій — це викінуті гроші. Бензинова "тарахтєлка" за 10 тис. грн — не є генератором безперервної роботи."

Хмари та Starlink: ключова цифрова зв'язка

Не менш важливим за електрику є й питання звя’зку. Якщо ваша ІТ-інфраструктура працює — дуже добре, але до неї ще треба мати доступ ззовні, щоб бізнес продовжувався. В компанії "Ясенсвіт", з представниками якої нам вдалося поспілкуватись, пішли шляхом комплексного захисту, поєднавши хмарну інфраструктуру De Novo з кількома каналами зв'язку, включно зі Starlink. Такий підхід дозволяє не залежати від одного провайдера та зберігати доступ до критичних даних, з будь-якої точки.

"Наша відмовостійкість — це не лише про технології. Це про підготовку людей і прозору взаємодію з постачальниками", — підкреслює Дмитро Український, CIO "Ясенсвіт". І він має абсолютну рацію.

Проте, нагадує Артем Малюк — "резервні канали мають сенс лише тоді, коли вони реально працюють. Тому рекомендується регулярно проводити "drill-тестування" — перевірку швидкості перемикання між основним доступом в Інтернет, Starlink та мобільними мережами, з вимірюванням затримок, пропускної здатності та стабільності. Це дозволяє уникнути простоїв і фінансових втрат у разі аварій".

Стратегія виживання: Agile та повна автономія

Як планувати надовго в умовах, коли горизонт прогнозу звузився до кількох тижнів? Український бізнес знайшов два робочі підходи. У "Ясенсвіт" дотримуються принципу Agile: не будують детальних планів на роки вперед, а адаптуються до реальності крок за кроком. У "ТМГ", навпаки, вже сформували чітку довгострокову мету — власне енергозабезпечення у зв'язці з хмарою.

Проактивний підхід поділяють і в ТОВ "Сапієнс", що розробляє медичні AI-рішення Cardio.AI. "Наша довгострокова стратегія — не просто реагувати, а проактивно будувати стійкість", — зазначає Кристина Пільтяй, менеджерка з розвитку компанії — "вже цього року варто інвестувати в більш автономні джерела живлення — генератори, батареї, сонячні панелі".

На думку пані Кристини, обов'язковим є створення внутрішнього BCP-плану, навчання персоналу роботі в умовах відключень, а також диверсифікація локацій: частину процесів варто перевести в регіони з нижчими ризиками. Підготовка команди — окремий пласт роботи: від розподілу портативних джерел живлення до налаштування гнучких форматів роботи, щоб критичні процеси не зупинялися, навіть якщо головний офіс знеструмлено.

"Щоб уникнути проблем за умов блекаутів, якнайперше я б радив приділити увагу засобам віддаленої роботи", — доповнює тему В’ячеслав Жук — "всіх співробітників, як у офісі, так й віддалених треба забезпечити засобами що дадуть змогу продовжити роботу навіть у разі тотального відключення електрики в країні. Також треба посилювати заходи безпеки, запроваджуючи Zero Trust, VPN, DLP тощо. Зокрема реалізація ZeroTrust на базі Cloudflare дозволила нашій компанії досягти високого рівня безпеки, та доступності сервісів. Дієвим заходом є й перенесення навантажень з локальних серверних до хмарних операторів. Й, звісно ж, треба мати надійний генератор."

7 помилок під час блекаутів, яких бізнесу краще уникнути

Заходи, описані вище, чудово підходять для багатьох компаній. Але для великих, бізнес-критичних інфраструктур цього може бути недостатньо. Експерти De Novo рекомендують глибший підхід до забезпечення відмовостійкості. Ось огляд "тонких" місць при підготовці до позаштатних ситуацій.

Генератор запустився — не означає, що виживе

Помилка, яку часто роблять компанії: обмежуються перевіркою факту запуску генератора, але не тестують його роботу під повним навантаженням. Така ж порада і щодо ДБЖ. Практика показує: під час "сухих" тестів усе працює, але при реальному навантаженні батареї можуть сісти за хвилини. Тому мінімум раз на квартал слід імітувати повне відключення мережі. Акумулятори ДБЖ варто міняти кожні 3–5 років, а паливо для генераторів зберігати не довше ніж 6–12 місяців.

Серверний кластер є, але що буде, якщо вимкнути його окремі вузли?

Компанії налаштовують серверні кластери та резервування, але не проводять регулярне тестування відмовостійкості в реальних умовах, зокрема chaos-тестування з навмисним виведенням вузлів із ладу. Це дозволяє перевірити, чи справді працює автоматичний фейловер. Орієнтир для бізнес-критичних систем: RTO < 30 хвилин, RPO < 15 хвилин. На практиці, у багатьох ІТ-ландшафтах кластери налаштовані, але ніхто ніколи не вимикав вузол навмисно.

Люді та комунікації — саме слабке місце

Перевірка та оновлення плану аварійного відновлення (DRP), регулярне відпрацювання сценаріїв аварій, включно з людським фактором, комунікаціями та взаємодією з партнерами – must have. У багатьох компаній є лише "паперові" плани, але й вони часто формальні. Найкраща практика — комбінувати обговорення сценаріїв (tabletop exercise) з "живими іграми". Для банків чи e-commerce варто проводити такі тренування щоквартально, включно з нічними змінами й вихідними днями. Людський фактор та комунікації — саме слабке місце, бо під час реальної аварії менеджери часто не знають навіть, кому дзвонити першим.

Моніторинг критичних систем у режимі 24/7 сам може "впасти". Що робити?

Автоматичне сповіщення про відмови, перевантаження або низький рівень палива/заряду ДБЖ. У реальності моніторинг сам може "впасти" під час аварії. Тому рекомендується дублювати канали сповіщень: окрема система SMS через GSM-модем, месенджер та email. Тест таких сповіщень бажано робити щонайменше раз на місяць. Заздалегідь підготуйте шаблони повідомлень про можливі збої та створіть резервну статус-сторінку (status page) на зовнішньому хостингу. Призначте відповідальних за комунікації, щоб уникнути поширення суперечливої інформації. Шаблони повідомлень часто не тестують, як наслідок, під час інциденту клієнти отримують хаотичні меседжі від різних відділів.

Резервувати доведеться навіть постачальників і партнерів

Резервувати і тестувати потрібно навіть канали постачання ключових ресурсів — щоб для вас це не було — паливо, обладнання або просто вода. Контракти треба мати з кількома постачальниками з різних регіонів. У деяких компаніях практикується "обмінний фонд" пального чи обладнання з партнерами. Більшість українських компаній обмежуються одним постачальником, і це стає фатальною помилкою під час дефіциту.

Здавалося б, вимкнули світло – до чого тут кіберзагрози

Практика показує, що подекуди у багатьох DR-процедурах вимикають багатофакторну аутентифікацію (MFA) "щоб спростити доступ" — це груба та небезпечна помилка.

Резервні системи мають бути так само добре захищені, як і основні, щоб під час відключень не виникло додаткових векторів атак. У періоди хаосу кількість фішингових атак на співробітників зростає у 2–3 рази. Тому важливо, щоб аварійні процедури включали багатофакторну автентифікацію й чіткі канали підтвердження доступу. Якщо є SOC, вона має обробляти алерти з інтервалом не рідше 15 хвилин.

Сценарії роботи "на мінімалках" повинні бути обов'язково

Режим роботи обмеженої функціональності (Degraded Mode of Operation) – це те, про що забувають 9 із 10 компаній. Вимкнення неключових систем реально подовжує автономність. Не завжди можливо або доцільно підтримувати 100% функціональності. Варто заздалегідь визначити, які системи можна тимчасово вимкнути для економії ресурсів (палива, заряду ДБЖ). Наприклад, відключення аналітичних модулів, тестових середовищ чи фонових завдань може подовжити час автономної роботи критичного ядра бізнесу в кілька разів. На практиці складно "на льоту", без завчасного плану, вірно вирішити, що ж відключати. Тому план повинен бути обов’язково.

Що з цього зроблено на практиці? Наші співрозмовники зазначили, що вже провели технічне обслуговування генераторів, завчасно закупили паливо, протестували резервні канали зв’язку та перенесли ключові сервіси у хмару De Novo. Окрім цього, визначено чіткий план дій у разі блекауту чи інших несподіванок, та призначено відповідальних осіб на випадок інцидентів. Тобто всі основні "шари захисту" — від електрики до людей — уже налаштовані й перевірені.

В цілому ж стара добра зв'язка "хмара, ДБЖ, генератор, Starlink", підкріплена відповідальним підходом до процесів, формує нову реальність для українського бізнесу. Часи, коли відключення світла паралізувало цілі галузі, схоже, минають.

Проте сценарій майбутньої зими може стати й вкрай неочікуваним, навіть для підготовлених компаній. Все буде залежати від того, наскільки сильно постраждає опорна інфраструктура великих міст. Мова не лише про електрику. Як підкреслює один з наших співрозмовників: "Хоча ми вже звикли до короткострокових відключень, ніхто не взмозі оцінити деструктивні наслідки дійсно тривалих блекаутів. Таких, що торкнуться вже систем водопостачання та опалення. Якщо таке станеться, то постане вже питання забезпечення базових потреб, зокрема, роботи каналізації чи систем обігріву. Це ті питання, про які компанії майже не замислюються сьогодні, але такий, важкий сценарій теж, цілком ймовірний".