Automatizovaný výdej dat do DTM ČR pro společnost ČEPS

Pro společnost ČEPS jsme navrhli a implementovali řešení pro automatizovaný výdej dat do DTM ČR, které je přímo napojené na interní GIS a datovou infrastrukturu zákazníka. Pokrývá celý proces od načtení a transformace dat přes změnovou analýzu a víceúrovňovou validaci až po tvorbu balíčků JVF DTM, jejich předání prostřednictvím IS DMVS, sledování stavu a evidenci historie dávek. Řešení zohledňuje také specifika kritické infrastruktury a zajišťuje plnou sledovatelnost a auditovatelnost celého procesu výdeje.

Kontext řešení

Společnost ČEPS, a.s. provozuje přenosovou soustavu České republiky a spravuje rozsáhlou síť vedení velmi vysokého a vysokého napětí a související infrastruktury. V rámci povinností vlastníka, správce a provozovatele technické infrastruktury předává údaje pro aktualizaci digitálních technických map krajů prostřednictvím Informačního systému Digitální mapy veřejné správy (IS DMVS). Pro tento účel bylo potřeba zajistit pravidelný, spolehlivý a standardizovaný výdej dat o infrastruktuře ČEPS.

Klíčové výzvy projektu

  • Automatizace opakujícího se procesu výdeje dat bez nutnosti manuálních kroků obsluhy
  • Transformace interních GIS dat do standardizovaného formátu JVF DTM (jednotný výměnný formát digitální technické mapy) dle požadavků ČÚZK
  • Zajištění integrity a validity dat před jejich předáním prostřednictvím IS DMVS
  • Průběžné informování odpovědných osob o stavu zpracování prostřednictvím e-mailových notifikací
  • Ošetření specifik kritické infrastruktury, včetně generování maskovacích geometrií

Popis dodaného řešení

Dodané řešení pokrývá celý životní cyklus výdeje dat – od inicializace dávky přes extrakci, transformaci a validaci dat až po jejich předání prostřednictvím IS DMVS a následné stažení stavových dat. Architektura je postavena na platformách FME a ArcGIS a je plně integrována s interním GIS prostředím zákazníka i s rozhraním IS DMVS provozovaným ČÚZK.

Inicializace výdeje dat

Výdej dat může probíhat plně automaticky v nastaveném intervalu, bez zásahu obsluhy. Zároveň jej může oprávněný uživatel kdykoli spustit ručně prostřednictvím DTM Widgetu ve webové aplikaci vytvořené v ArcGIS Experience Builderu. Systém v obou režimech kontroluje stav předchozích dávek, aby nemohlo dojít k souběžnému spuštění více procesů výdeje.

DTM widget: detail vybrané dávky

Zpracování dat v FME

Zpracování samotných dat určených pro výdej do DTM ČR probíhá v těchto hlavních krocích:

  • Extrakce dat z GIS – data jsou načtena z produkční ArcGIS služby, prostorově analyzována vůči hranicím krajů a namapována na strukturu JVF DTM.
  • Změnová analýza – systém porovnává data aktuální dávky s poslední úspěšně dokončenou dávkou a klasifikuje každý prvek jako Insert, Update, Delete nebo No change. Součástí je kontrola validity dat a generování přehledných reportů o změnách, validitě prvků a územní působnosti.
  • Generování balíčků JVF DTM – na základě změnové analýzy jsou vygenerovány zazipované balíčky ve formátu JVF DTM připravené k odeslání. Data jsou s ohledem na výkon rozdělována do balíčků s konfigurovatelným počtem prvků.
  • Odeslání prostřednictvím IS DMVS – balíčky jsou odesílány přes rozhraní IS DMVS k dalšímu zpracování v příslušných krajských DTM. Systém průběžně sleduje stav jejich zpracování a výsledky zapisuje do metadatové databáze. Po úspěšném zpracování jsou k prvkům doplněna krajská ID a EDTI kódy podání.
  • Stažení stavových dat – v závěrečné fázi jsou ze systému IS DMVS stažena aktuální stavová data ČEPS a uložena do interní databáze pro účely dalšího zpracování.
Schéma architektury dodaného řešení – produkční prostředí

Klíčové přínosy řešení

Nasazené řešení přináší zákazníkovi řadu konkrétních provozních výhod:

  • Úplná automatizace – pravidelný výdej dat probíhá bez manuálního zásahu, čímž se eliminuje riziko lidské chyby a snižuje administrativní zátěž obsluhy.
  • Víceúrovňová validace – systém kontroluje naplněnost povinných atributů, duplicitu identifikátorů, správnost geometrií (sebeprotínání, multipart, nulové geometrie, oblouky) i příslušnost prvků k území ČR. Výsledky jsou dostupné v přehledném reportu.
  • Automatické notifikace a upozornění – systém informuje odpovědné osoby o důležitých stavech a případných chybách během zpracování. Pokud se zpracování balíčku na straně krajské DTM neúměrně prodlouží, může automaticky upozornit také jejího správce.
  • Přehled o průběhu a historii výdeje – stav jednotlivých dávek a jejich zpracování je průběžně evidován v systému. Oprávněný uživatel může v DTM Widgetu sledovat aktuální stav dávky i historii předchozích výdejů a v případě potřeby dohledat související výstupy.
  • Sledovatelnost a auditovatelnost – stavy zpracování se průběžně ukládají do metadatové databáze a ke každé dávce je uchována záloha odeslaných dat. Lze tak zpětně dohledat, která data byla v konkrétní dávce zpracována a odeslána.
  • Podpora kritické infrastruktury – řešení automaticky generuje maskovací geometrie pro prvky kritické infrastruktury v souladu s legislativními požadavky.
  • Připravenost na růst objemu dat – konfigurovatelná velikost balíčků a iterativní generování umožňují efektivně zpracovávat i rozsáhlé datové sady bez přetížení systémů. Řešení se tak může přizpůsobovat rostoucímu objemu dat ČEPS.

Automatizovaný výdej dat do DTM ČR jako řízený a auditovatelný proces

Dodané řešení převedlo povinnost předávat údaje pro aktualizaci digitálních technických map krajů do plně automatizovaného procesu, který běží prakticky bez zásahu obsluhy. Společnost ČEPS, a.s. má k dispozici robustní a auditovatelný nástroj zajišťující spolehlivý tok aktuálních a validovaných dat prostřednictvím IS DMVS – s víceúrovňovou validací, automatickými notifikacemi a kompletní historií dávek. Architektura řešení je navržena pro dlouhodobý provoz a umožňuje reagovat na budoucí změny formátu JVF DTM i rozhraní IS DMVS.

Řešíte napojení na IS DMVS nebo automatizaci výdeje GIS dat? Rádi se s vámi podělíme o zkušenosti z projektu pro ČEPS – ozvěte se nám.

 

Náš tým

Lubomír Lazar

Vedoucí konzultant, Data & GIS

Lubo je vedoucí konzultant, který už více než 15 let čeří vody geografie, kartografie a geoinformatiky. Více než 7 let je vedoucím skvělého a talentovaného týmu konzultantů, který se zaměřuje zejména na problematiku GIS a datových operací všeho druhu. Kromě GIS řešení (QGIS, ESRI) je hlavní Lubovou srdcovkou integrační ETL platforma FME od kanadské společnosti Safe software. Od roku 2017 je jedním z mála držitelů certifikací FME Certified Professional a FME Flow Certified Professional, které prokazují odbornou způsobilost a hluboké znalosti v oblasti platformy FME.

Během své profesní kariéry si také prošel pozici konzultanta, tudíž ví, jaké jsou potřeby zákazníka a na co je potřeba se zaměřit ze strany dodavatele při dodávce služeb a řešení. Má bohaté zkušenosti s návrhy řešení, implementacemi, konzultacemi a také školeními. Dříve působil také jako projektant územního plánování či administrátor GIS řešení.

Tomáš Kroupa

Projektový manažer

Tomáš je projektový manažer s 15letou zkušeností v oboru geografických systémů. Začínal jako programátor, ale postupně se přes roli konzultanta posunul až do role produktového a projektového manažera. Posledních několik let se specializuje na problematiku vyjadřování a vývoj specializovaných webových aplikací. 

Během své kariéry jako programátor naprogramoval několik backend i frontend aplikací, tou největší je vyjadřovací portál, který je implementovaný u několika desítek zákazníků. Zkušenost s programováním mu přináší velkou výhodu a nadhled v návrhů řešení systémů a implementací projektů. V roli konzultanta prováděl implementace jednoduchých, ale i velmi složitých řešení od malých až po velké zákazníky. Má bohaté zkušenosti s implementacemi, konzultacemi se zákazníky, navrhováním řešení na míru zákazníka, ale také s prezentacemi nebo školením koncových uživatelů.

Související články

Související stránky

FME (Feature Manipulation Engine) - špičkový ETL nástroj od Safe Software

FME – Feature Manipulation Engine

FME je platforma pro integraci, transformaci a automatizaci datových procesů – bez nutnosti programování. Umožní vám propojit GIS, BIM/CAD, databáze i cloudové služby, data vyčistit, validovat a bezpečně předat dál v jednotné struktuře. Díky podpoře 500+ formátů a aplikací je FME spolehlivý „překladač“ mezi světy, které spolu běžně nemluví. Jako oficiální Solution Provider Safe Software vám v…
Využití platformy ArcGIS ve stavebnictví, infrastruktuře a správě majetku

ArcGIS – GIS platforma pro správu a analýzu prostorových dat

Geoinformační platforma ArcGIS od společnosti Esri je komplexní GIS systém pro sběr, správu, analýzu i vizualizaci prostorových dat. ArcGIS je jednou z nejrozšířenějších GIS platforem na světě. Uplatňuje se v mnoha různých oborech a například i v rozsáhlých projektech chytrých měst (smart city). Společnost Controlis se věnuje také integracím BIM a GIS technologií a k tomu využívá ArcGIS a BIM…
Data, integrace a automatizace DTM od analýzy a validace přes komunikaci s IS DMVS až po další využití v GIS, CAD a navazujících agendách.

Digitální technická mapa

Digitální technická mapa (DTM) propojuje správu prostorových dat, povinnosti vlastníků infrastruktury a praktické využití informací o území. Controlis navrhuje a zavádí procesy pro kontrolu, transformaci, aktualizaci a automatizované předávání dat do DTM, napojení na IS DMVS i jejich další využití v GIS, CAD a navazujících systémech. Řešení stavíme na vašich stávajících datech a systémech a…