Program workshopu
Ultimátna príprava dát v Power Query

Naozaj si myslíte, že naplno využívate schopnosti Power Query? Že sa dostanete ku všetkým dátam, ktoré potrebujete? Že si ich viete pripraviť do toho správneho formátu, aby Vaše analýzy lietali rýchlo aj na veľkých dátach? A že nemusíte čakať dlhé hodiny na to, kým sa Vám aktualizujú dáta v Power BI? To sú len niektoré z pokročilých možností, ktoré môžete robiť s Vašimi dátami.

Power Query je fenomenálny nástroj na prípravu dát. Na prvý pohľad síce vyzerá ako klikátko pre jednoduchých užívateľov, ale pri hlbšom zoznámení sa s jeho možnosťami je to kompletný ETL nástroj na prípravu dát. Vie Vám výrazne uľahčiť nielen prípravu dát, ale aj následné analýzy dát, či už v Power BI, alebo inom nástroji. A najmä, viete z neho dostať dáta z ľubovoľného zdroja dát, a skombinovať ich so svojimi zvyšnými dátami. Jedi Mastri dokonca vedia, ako to spraviť rýchlo. A teraz tú možnosť máte aj Vy.

Na tomto workshope sa naučíte používať Power Query do hĺbky. Pozrieme sa najprv na prípravu správnych dátových štruktúr pre Power BI, ktorá sa častokrát vynecháva, pretože ľudia častokrát ani netušia, že to ide spraviť oveľa lepšie. Tu dostanete najpodstatnejšie techniky, prebraté z Michalových skúseností pri implementácií až 80 TB dátových skladov. Využiteľné hoci aj pri malých 100 MB reportoch, ak ich chcete rapídne urýchliť.

Následne sa pozrieme na jednotlivé časti Power Query. Prejdeme si najprv nevyhnutné základy práce s jazykom M, potrebné pre následné pokročilejšie techniky. Či už to bude práca s rôznymi API a neštandardnými dátovými zdrojmi, optimalizácia výkonu a rýchlosti načítavania dát, a nakoniec pokročilé techniky prípravy dát v Power Query. Dokonca sa dozviete viaceré, ťažko dohľadateľné tipy o vnútornom fungovaní mashup enginu v Power Query, pochádzajúce priamo od programátorov Power Query.

Po tomto workshope budete úplne inak nazerať na to, čo všetko Power Query dokáže, a aké dokáže byť rýchle, a ako Vám vie pomôcť s Vaším reportingom, ak to aspoň čiastočne aplikujete do svojho pracovného života. Z workshopu odídete plní nápadov a inšpirácie, čo všetko viete spraviť s jazykom M aj s Power Query. A nielen s nimi.

V skratke, tu je zoznam toho, čo z workshopu získate:

• Naučíte sa, ako používať jazyk M,
• Naučíte sa pripravovať dáta do správnej štruktúry, ktorá je rýchla a škálovateľná aj na veľké dáta,
• Zistíte, ako pracovať s rôznymi API a ich úskaliami,
• Naučíte sa optimalizovať výkon Power Query, aby ste mohli oveľa rýchlejšie a častejšie aktualizovať dáta v reportoch (vrátane tipov priamo od programátorov Power Query),
• Naučíte sa rôzne pokročilé techniky, ktoré sa bežne používajú pri príprave dát v Power Query,
• Prevetráte svoje mozgové bunky,
• Získate inšpiráciu pre prácu aj pre seba na ďalšie mesiace.

Pre koho je workshop určený: Účastníci, ktorí sa chcú naučiť pokročilejšie používať Power Query, či už na lepšiu a rýchlejšiu prípravu dát, alebo na pokročilejšiu prácu s dátami, napríklad z rôznych API, či pomocou rôznych pokročilých techník. Workshop nie je vhodný pre úplných začiatočníkov. Účastníci by mali ovládať aspoň jednoduché základy Power Query. Ak ho neovládajú, tak sa ich môžu naučiť buď na niektorom z našich kurzov, alebo z našej knihy o Power BI. Workshop je využiteľný nielen v Power BI, ale z väčšej časti aj v excelovskom Power Query, serverovom SSAS Tabulare, v cloudových Azure Analysis Services, v Dataverse, v Power Apps, v Power Automate, v MS Dynamics, v MS Teams, či v čomkoľvek, čo priamo alebo nepriamo používa technológiu Power Query.

Spíker: Bude Vás učiť Michal Chmelár, autor slovenskej knihy o Power BI, PowerPivote a jazyku DAX. Top expert s dlhoročnou praxou v Power BI, Power Query a v PowerPivote, vrátane nasadení vo veľkých firmách, a autor najväčšieho česko-slovenského blogu o PowerPivote, Power Query a Power BI. S tonou referencií od predchádzajúcich účastníkov našich kurzov.

Trvanie:  6 hodín

Jazyk: slovenský

Cena: od 157 EUR bez DPH, plus DPH

V cene je zahrnuté: prístup k záznamu na 30 dní

Obsahová náplň:

Príprava správnych dátových štruktúr pre Power BI

• zásady prípravy správnych štruktúr tabuliek pre analýzy a reporting
• star schema a multistar schema
• sekvenčné tabuľky
• kombinačné tabuľky
• monštrózna dimenzia
• master-detail - 3 rôzne stratégie
• správna príprava M:N tabuliek a optimalizácia ich veľkosti
• optimalizácia veľkosti veľkých číselníkov s históriou zmien
• optimalizácia tabuliek pre DISTINCTCOUNT

Crash course jazyka M

• syntax jazyka M, základné konštrukty, funkcie a pod.
• rozšírený editor dotazu a úprava M skriptov
• cykly a rozhodovacie konštrukty
• dotazy, zoznamy, záznamy, hodnoty, indexy a práca s nimi
• spracovanie chýb cez try/otherwise a operátor "?"
• vytváranie vlastných funkcií
• využitie funkcií na zvýšenie produktivity v Power Query a zjednodušenie kódu
• prázdne dotazy a ich využitie

Načítavanie dát z rôznych API a dátových zdrojov

• metódy autentizácie a ich správny výber a použitie
• nástroje na debugovanie volaní/výsledkov z API
• REST API vs. SOAP API, XML vs JSON, OData API
• volanie GET requestu a POST requestu
• parametre dotazu, relatívne cesty
• tokeny, hashovanie, nastavenie HTTP headers, bezpečné ukladanie tokenov
• riešenia bežných problémov po nasadení na server/do cloudu a nastavení automatickej aktualizácie dát
• vlastné konektory

Optimalizácia rýchlosti načítavania a spracovania dát

• ako interne funguje engine PQ
• vyhodnocovací model Power Query a oneskorené vyhodnocovanie dotazov
• cache PQ, buffre PQ, swapovanie na disk, a ich ovplyvňovanie
• využitie query foldingu pre posun operácií do dátového zdroja, výhody, nevýhody, záludnosti
• zapnutie query foldingu pre ručne zadané SQL dotazy
• implementácia query foldingu pre zdroje, ktoré ho nepodporujú
• ako urýchliť plné načítavanie dát 2-násobne a viac (a ušetriť zdroje počítača, servera a siete)
• inkrementálna aktualizácia dát
• optimalizácia joinov / zlučovania dát - 3 rôzne postupy
• debugovanie a monitorovanie operácií PQ
• optimalizácia výkonu enginu PQ a použitej pamäte/swapovania
• priebežné vs. kumulatívne operácie a ich vplyv na výkon PQ

Pokročilé techniky prípravy dát v Power Query

• bežne využívané pokročilé techniky pri príprave dát v PQ (viacero techník)
• načítanie dát z viacerých rovnakých databáz + z viacerých rovnakých záložiek Excelu
• integrácia s Pythonom a R Skriptom - vlastné transformácie
• automatizované zlučovanie dát z rôznych nekompatibilných zdrojov (fuzzy merge join)