Всесвіт відкритих даних: мітап розробників Opendatabot про те, як отримати дані від держави

Графік курсування автобусів, розміщений на сторінці сайту міськради, відскановане рішення Господарського суду, PDF-файл банківського звіту, захований за сімома замками на сайті – що у цьому схожого?

Насправді, спільність цієї інформації у тому, що вона не є відкритими даними. Чому ж ні, здивуєтеся ви, адже її можна знайти і скачати безкоштовно в інтернеті? Авжеж, проте не це є головною ознакою відкритих даних.

Аби з’ясувати, чому це так, LegalHub відвідали мітап, влаштований розробниками Opendatabot – пошуковика відкритих даних. Ми заглибилися у всесвіт відкритих даних і, зрештою, зрозуміли, що і чому не є відкритими даними, незважаючи на те, що інколи держава нас у цьому запевняє.

Дарина Даниленко, керівник з комунікацій та Микита Підгайний, юрист Opendatabot, поділилися досвідом, напрацьованим за роки взаємодії з державними органами. Вони розповіли про сутність відкритих даних, поділившись реальними кейсами на шляху до оперативного отримання відкритих даних. Нехай ці кейси не завжди були успішними, зізнаються Дарина та Микита, проте головна їхня вага – у безсумнівній практичності.

Що таке відкриті дані, для кого вони і де їх знайти

Відкриті дані (open data) знаходяться всередині масиву публічної інформації. Інакше кажучи, відкриті дані – це лиш мала частка в інсайді публічної інформації.

“Існує масив відкритої і закритої інформації. При цьому під відкритою інформацією ми не маємо на увазі відкриті дані. Розпорядники інформації, журналісти та юристи часто плутають відкриті дані з відкритою інформацією. Насправді, відкритої інформації дуже багато, а відкритих даних у ній надзвичайно мало”, – підкреслив Микита

Дійсно, співвідношення публічної інформації і відкритих даних можна порівняти з футбольним полем і крихітним м’ячем для гольфу на ньому.

Отож, відкриті дані – це частина публічної інформації, викладена у машинозчитувальному форматі, яку може обробити робот без участі людини, і яка безкоштовно надається на громадський запит. Будь-яка людина може звернутися до розпорядника інформацією та отримати її.  Безпосередній продаж відкритих даних заборонений (хоча цей принцип порушується і, буває, що державні органи вимагають за це гроші), проте їх можна використовувати для створення аналітичних продуктів та надалі продавати ці продукти.

Відкриті дані не є власністю держави або держаних органів, а належать громадянам, кожному українцеві та суспільству в цілому, – наголосив Микита Підгайний

Вимоги до формату, у яких допустимо оприлюднювати відкриті дані, і структура їх наборів, що підлягають оприлюдненню у формі відкритих даних, визначено Положенням, затвердженим постановою Кабміну від 21 жовтня 2015 року № 835. До переліку універсальних форматів входять JSON, XML/RDF, TXT/CSV/Markdown. Найголовніший критерій для таких даних — їхня доступність для машинної обробки без участі людини.

Відкриті дані мають бути першочерговим інструментом для максимально оперативного отримання інформації про будь-які аспекти суспільного життя. Саме завдяки їх відкритості, висновки, зроблені на їх основі, будуть достовірними та об’єктивними, бо отримані з першоджерел.

Приклад відкритих даних

Здається, що “відкриті дані” — поняття дуже розпливчате. Що ж, мовляв, таке ці відкриті дані? Як їх відчути, торкнутися, побачити?

Відкритими даними є, до прикладу, така інформація: дозвільні документи, отримані забудовником перед зведенням будівлі; перелік загальноосвітніх закладів у всеукраїнському масштабі та у конкретному регіональному зрізі; про лікарські засоби, дозволені до випуску та розповсюдження в Україні; вартість контрактної форми навчання у ВНЗ; умови кредитування, що пропонують українські банки; кількість парків у Києві; музеї України; розмір державного фінансування закладів та організацій з усіх сфер суспільного життя тощо.

Це також конкретні суми – витрати бюджету на ті чи інші цілі: фінансування оборонної сфери, охорони здоров’я, освіти, бібліотек; гроші, витрачені на закупку каштанів для київських вулиць; кількість урн для роздільного збору сміття, встановлених в українських містах, зрештою, кількість скоєних злочинів, укладених шлюбів та оформлених субсидій.

Як впізнати НЕ відкриті дані

Апріорі не є відкритими даними:

  1. Будь-яка інформація, викладена у форматі, який не є машинозчитувальним – це скани, дані у форматах .doc, .pdf, .html. Ці формати не є універсальними, тому програмні продукти не зможуть їх розпізнати і декодувати. Наприклад, скан будь-якого папірця, зроблений чиновником і викладений на офіційному сайті міністерства, не є відкритими даними, залишаючись при цьому публічною інформацією.
  2. Інформація, захована під капчею. Парадокс у тому, що державні органи таким чином захищаються від роботів, тоді як відкриті дані якраз і мають бути доступні для обробки роботом.
  3. Інформація викладена безпосередньо на офіційному сайті державних органів у вигляді html-сторінки. Для її обробки необхідна спеціальна програма, яка знайде і зчитає цю інформацію. Виходить, що зі зміною адреси сторінки, навіть маючи спеціальну программу, зчитування інформації стане неможливим.
  4. Конфіденційна інформація: персональні дані, викладені проти бажання суб’єкта у випадку, не передбаченому законом.

Ідеальний світ відкритих даних

За словами Микити Підгайного, гіпотетично існує так би мовити ідеальний світ відкритих даних, де будь-які набори даних знаходяться у вільному доступі, вільно використовуються і розповсюджуються.

Якими мають бути відкриті дані в “ідеальному світі”:

  1. Відкритість за замовчуванням. Інформація, яка є у держави, має опубліковуватися.
  2. Оперативність і вичерпність. Відкриті дані мають публікуватися вчасно. Микита розповів про порушення принципу вичерпності на прикладі системи Кодів ЄДРПОУ. Код, що зазначається навпроти кожної компанії у звіті ДФС про заборгованість, є всього лиш умовно унікальним ідентифікатором. Наприклад, шукаючи за ПІБ конкретного ФОПа, ми натикаємося на двадцятьох його повних тезок і невідомо, хто зі знайдених осіб той, хто нам потрібен. Тобто такий набір даних унеможливлює їх практичне використання.
  3. Доступність та готовність до використання. Відкриті дані мають публікуватися у форматі, доступному для зчитування та оборобки машиною.
  4. Порівнюваність та інтероперабельність. Усі набори даних, які викладає держава, мають бути сумісними між собою. Умовно, певний набір даних, що публікується одним держорганом, має містити у собі універсальні маркери та вектори, за якими ми легко можемо знайти інформацію про ці ж дані у наборі даних іншого держоргану.
  5. Для кращого врядування та участі громадськості. Це дещо ефемерна та утопічна мета, проте відкриті дані мають використовуватися громадськими організаціями для покращення життя суспільства.
  6. Для інклюзивного розвитку та інновацій. Відкриття усіх даних має покращувати процеси у суспільстві, наприклад, зменшуючи корупцію.

Хто відкриває дані в Україні 

Дарина Даниленко розповіла про джерела, де можна віднайти відкриті дані в Україні:

  • Data.gov.ua –  Єдиний портал відкритих даних;
  • Офіційні сайти міністерств, парламенту, Уряду, судів, прокуратури;
  • http://bi.prozorro.org/ – ресурс про державні закупівлі;
  • https://clarity-project.info/ – ресурс про закупівлі, який об’єднує реєстри відкритих даних;
  • http://declarations.com.ua/ – містить дані про корупційні злочини;
  • Posipaky.info – портал для відслідковування осіб, що є помічниками народних депутатів;
  • Opendatabot  – допомагає зв’язати докупи усю знайдену на попередніх ресурсах інформацію.

Шукати – не значить знайти: як на практиці все ж отримати інформацію

Не секрет, що інколи держава упереджено недружньо ставиться до будь-кого, хто має намір дізнатися більше, ніж розповідають державні органи. Часто буває, що усі ланки ланцюжка під назвою “дістанься до відкритих даних” пройдено, але безрезультатно. Тоді у гру вступає цікава стратегія, схожа на пошук дверей у темній незнайомій кімнаті.

Перший крок. Перевірити у постанові Кабміну № 835, чи підлягає оприлюдненню той набір даних, який нам потрібен. Якщо ця інформація є у переліку постанови, необхідно надіслати запит до державного органу з приводу надання необхідної інформації, з посиланням на постанову.

Другий крок. Якщо у постанові потрібного нам набору даних немає, необхідно звернутися до Державного агентства з питань електронного врядування. Саме воно займається відкриттям інформації, готуючи постанови, за якими щоразу нові набори даних оприлюднюються. Можна надіслати до Держагентства пропозицію про публікацію конкретних необхідних нам відкритих даних. Проте таке звернення не гарантує успішність та отримання запитуваних даних. Якщо Держагентство успішно вирішить питання, необхідні відкриті дані потраплять у постанову № 835 та підлягатимуть оприлюдненню.

Дарина підкреслює, що на цьому етапі “полювання” на відкриті дані немає чіткого алгоритму та регламенту дій запитувача інформації. Саме так можна окреслити блукання звичаного “мисливця” за відкритими даними та його намагання “витрясти” із чиновників необхідну інформацію.

Четвертий крок. Дарина та Микита зазначають, що відкриті дані мають публікуватися не лише за їхньої наявності у постанові № 835, а й після конкретного запиту будь-кого з українців (і не тільки) до розпорядника інформації.

Якщо запит до розпорядника даних не приніс відповіді, варто спробувати поскаржитися, до прикладу, у міністерство, що кооординує діяльність того чи іншого органу. Цікаво, що міністерство зазвичай відсилає запитувача “назад”, тобто до нижчої ланки, аргументуючи це своєю некомпетентістю у таких справах. Проте саме міністерство зобов’язане переслати лист запитувача тій самій “нижчій ланці”, чим фактично зобов’яже розпорядника інформації надати дані.

… і нарешті про Опендатабот

Створений у 2016 році, сервіс Opendatabot є платформою для роботи з державними відкритими даними. Ресурс займається збором, об’єднанням та аналізом даних, отриманих з головних публічних реєстрів України.

Платформа об’єднує у собі 20 джерел з відкритими даними і схожа на своєрідний пошуковик по державі, де будь-який користувач може знайти необхідну інформацію (відому державі), вказавши назву компанії, ПІБ особи або номер автомобіля. Сервіс працює у месенджерах Telegram, Facebook Messenger, Skype, Viber.

Нагадаємо, в Україні набрала чинності інструкція з оформлення матеріалів про адмінпорушення у сфері інтелектуальної власності.