無縫對接 Tableau，這家月活躍用戶 5000 的大型銀行如何實現自助式分析？

近幾年，數據分析相關崗位需求呈爆發式增長，且大多還是高薪職業，讓許多小伙伴紛紛半路“出家”開啟數據分析師的求學之路。

很多年前，數據分析人員只要能靈活使用 Excel 就能找到一份不錯的工作。后來，分析師如果能熟練操作 BI 可視化，能給老板一份漂亮的報表就可以成為公司里的明星員工。但在近幾年，對于數據分析師來說除了要掌握基礎的分析工具如 SQL、Python 等，還得學習數據清洗、建模，還有一系列統計學概念和精確算法用于數據分析，可謂難上加難…

基于上述環境，市場上就催生出了一批「數據分析專家」，他們擁有專業分析技能與技術儲備，但這樣的人才對于企業來說卻是又“貴”又“難招”。如果企業想要實現數字化轉型，成本壓力不言而喻；另一方面，Gartner 也在近幾年多次指出未來企業的數字化發展在于「數據分析平民化」， 也就是說企業管理者需要培養或者賦能更多業務一線的平民數據分析師，做到真正的從下至上實現用數據決策的戰略方針。

企業數據分析的發展趨勢

在近期的線上分享中，Kyligence 產品總監何京珂就為大家介紹了在數據分析平民化的趨勢席卷下，企業如何做到支撐日常上千名用戶的查詢分析？我們以市面上最流行的 BI 工具 Tableau 為例，將為大家介紹 Kyligence Tableau 整體解決方案，更有 Demo 演示教學如何讓一線業務分析師們只需“托拉拽”就能實現 PB 級數據量下的自助式分析！您也可以點擊「閱讀原文」免費試用體驗！

數據分析平民化的必備要素

企業實現數據分析平民化的必備要素就是自動化。 這迎合了 Gartner 在 2019 年提出的 “Augmented Analytics” 觀點，即增強分析。它將是未來數據分析的一個主流趨勢將大范圍得改革數據從管理、加工、分析這一大串鏈路中的人工工作。

過去我們為了服務數據分析，需要數據倉庫專家來準備數據模型。這要求專家需要去了解現在這個業務的實際需要，例如哪些維度的數據需要被組合，用于分析什么場景等等。綜合整理這些數據使用的模式可能從中抽象提煉而形成模型。

有沒有可能讓上面這套流程自動化呢？

其實在企業內部，每一位員工都在使用他們自己的一套分析經驗來做查詢。在分析業務的當下其實就是將這些查詢語句作為學習系統的輸入。一個聰明的 AI 增強資料庫產品就會很好的利用這些“群體智慧”來不斷學習用戶的行為習慣，從而找到共通點，進一步提煉出數據模型。

數據管理和分析自動化

當這個模型經過自動化的數據準備和預計算以后就能建立預計算的多維模型，然后這些經過計算準備好的多維模型又可以通過統一的語義模型再暴露給企業內部一線業務人員來做數據的分析，業務人員的分析的方式和角度又將變成一次新的模式識別進行數據準備及加工，以上就形成一個分析自動化的閉環。在后臺也可以通過分析師、工程師以及數據管理人員進行管理和調整。

另外，在這條鏈路中也能讓專家與業務管理人員對機器學習的內容有技術進行模型的微調，從而提煉出符合業務的語義邏輯且具有可用性及智能的數據模型。通過這樣一套自動化程度比較高的數據服務，能夠有效地代替前面說到的類似手工作坊式的人工數據管理的工作。

接下來將為大家介紹作為大數據圈智能分析引擎的代表 Kyligence，結合 BI 圈炙手可熱的 Tableau 為例，解析大數據架構下如何搭建一套高性能、高并發的自助式分析平臺。

Kyligence Tableau 整體解決方案

從底層架構來看，Kyligence 作為一個統一的 AI 增強型的數據管理和分析平臺，可直接部署在本地或云端。

Kyligence Tableau 方案架構圖

向下可對接關系型數據或 Hadoop 數據源，如 Hive 等，屏蔽底層數據源差異，在 Kyligence 端統一建模，進行維度指標定義。向上通過 ODBC Driver 連接到 Tableau Desktop 或 Tableau Server。Kyligence 也提供其他通用的接口對接 PowerBI，帆軟，SmartBI 等 BI 產品進行數據分析。

Kyligence Tableau 主要優勢如下：

架構可拓展，查詢響應快。 使用 Tableau Live 方式可處理萬億行數據，直連查詢性保持在秒級以內，支持高并發的同時保持高性能。
統一的語義層。 一鍵同步 Kyligence 模型語義定義至 Tableau，無需重復建模。
自助式分析。 在 Kyligence 多維模型與預計算技術支撐下，充分發揮 Tableau 靈活、自助特性，滿足 BI 平民化的自助式分析需求。
AI 自動建模。 Kyligence 可利用自動建模技術快速設計和構建數據模型，提高數據開發效率，縮減數據分析周期。

Kyligence Tableau 開發模式

開發模式：減少重復勞動，提升效率

開發模式的最佳實踐也是很多企業關心的問題，如何進行企業內各種職能角色的協同？我們結合現有客戶的使用場景，提煉出了一套開發模式可供大家參考。

首先抽象出四類角色：開發人員、建模人員、分析師、業務人員。這四類角色并一定要嚴格對應四個人，可能有些企業一個開發人員就負責了準備數據、建模、分析的一整套工作，來滿足業務人員的需求，可依據企業實際情況靈活安排。

開發人員——準備數據。 基于業務需求，IT 部門在平臺的業務集市中建立各主題領域的數據，通過數據交換中心把數據從業務數倉同步到 Hadoop 構建集群(即離線分析平臺)中。
建模人員——模型開發與發布。 在 Kyligence Enterprise 中設計基于業務主題的模型，創建好的模型包含該主題中可能用到的各種標準的分析指標和維度，同時在調度管理平臺上為當前的模型創建定時構建任務，用來定時更新模型內的數據。接著可以基于已創建好的模型，導出 Tableau TDS 文件，并發布至 Tableau Server。
分析人員——自助式分析。 可基于 Tableau Server 已發布 TDS 數據源，在 Tableau Server Web 端或 Tableau Desktop 進行自助式多維分析，報表制作，另外可依據分析場景，二次定義指標、層級等。
業務人員——直接訪問分析報表 或者可以基于 Tableau Server 來進行數據分析

權限集成：嚴格把控數據安全，數據“各有所用”

考慮到企業數據的隱私安全，Kyligence 提供針對項目級/表級/行列級的細粒度數據訪問控制。為不同用戶提供不同的數據視圖。

統一的權限管理體系。 使用 Kyligence 進行統一的權限訪問控制，行列級別控制，提供用戶細粒度的權限控制，最大限度滿足企業多樣的數據管控需求。
更便捷的連接體驗。 Kyligence Connector 的提供更順暢的 Tableau 連接體驗，省去額外的連接配置。
用戶權限透傳。報表制作者可使用高權限賬號進行報表的開發與發布，而瀏覽者在查看報表時會切換其對應權限進行訪問數據的限制。
免密查看報表。 Tableau 用戶在 Server 端查看報表時，無需再次輸入數據源的登入用戶與密碼，減少管理員運維成本，提升用戶訪問體驗。

案例：大型銀行自助式分析體驗

背景介紹

這是一家大型股份制銀行，該機構需要基于卡交易流水從多維度進行分析和指標統計，主要的維度和指標包括日期（（年，月，日，周，天）、卡屬性，品牌，地區，機構，交易筆數，交易金額等。

業務面臨的痛點

業務分析需求得不到快速響應，大量依賴 IT 團隊開發，需求一旦有調整就需要進入“超長等待期”。
數據質量較差，分析結果有較大偏差。因為后臺數據口徑不一，業務使用門檻較高。
擴展性較差，許多高價值的分析報告無法充分共享，專題分析發布周期長。

在過去由于使用的數據倉庫的限制，該銀行需要對不同的業務主體的數據單獨建立數據模型，通過 SQL 取數的方式為業務提供分析時使用的數據，開發成本高，交付周期長。

通過新方案，該銀行可以通過 Kyligence 構建統一的數據模型，通過導出 TDS 的功能將數據模型同步到 Tableau 實現一個模型分析眾多分析報告的效果。

另一方面，在企業內部，由于各個部門對數據指標定義不同造成數據不可信的問題也時有發生。現在可以通過 Kyligence 的統一模型，該銀行實現了對業務分析的口徑與指標的統一。

使用 Kyligence 后的查詢效果

下圖可以看到目前該銀行每個月有 5000 活躍用戶，每月總查詢數在 100 萬，90%以上查詢 < 1 秒。通過無縫對接 Tableau，真正做到了賦能業務自助式分析能力。

上面就是我們介紹的整套 Kyligence Tableau 自助式分析的方案，感興趣的小伙伴點擊「閱讀原文」免費試用！

也可以點擊以下視訊觀看作為分析人員如何基于 Kyligence 智能數據分析平臺在 Tableau 上進行數據分析~

完整視訊

現場 Q&A

Q：調度管理平臺是包括 kylin 和 hive 的節點，是 kylin 提供的嗎？

A：調度管理平臺需要客戶自行進行開發或使用第三方的工具，Kyligence 會提供自身數據開發過程中的 API，提供給調度管理平臺來進行開發調度。

Q： Tableau 通過 ODBC 怎么配置訪問 Kyligence？有配置文檔么？

A：詳情可閱讀我們的用戶手冊的 Tableau 章節：https://docs.kyligence.io/books/v4.2/zh-cn/integration/bi/tableau/tableau_desktop.cn.html

Q：除了發布到 Tableau，可以發布到其他報表環境嗎，比如 PowerBI？

A：目前一鍵同步數據模型的功能暫時支持 Tableau，對接 PowerBI 時需要在 PowerBI 中根據 Kyligence 中的模型進行數據模型的手工定義。

Q：是否可以連接到 Azure 最新的 Data Lake Storage Gen2? 并且讀取 Hadoop 文件比如 Parquet？

A： Kyligence 云上版本支持 Azure Data Lake Storage Gen2 作為數據源。在云上如果需要讀取 Hadoop 文件比如 Parquet，可以把 Parquet 放置在對象存儲中，通過對象存儲作為數據源來支持。如果是本地部署的話需要通過 Hive 來管理數據文件對應的 Schema。

Q：計算度量，除了 default 的 function，是否可以自己定義度量邏輯？比如 YTD/QTD，Growth Rate 這些？

A：如果是對接 Tableau 的情況下，可以在 Tableau 中定義計算度量來實現 YTD/QTD，Growth Rate 等動態計算，在 Kyligence 定義這些動態計算背后依賴基礎度量，比如計算銷售額的 YTD/QTD 可在 kylignece 中定義基礎度量 sum（sales）在 Tableau 中定義銷售額的 YTD/QTD，Growth Rate 計算。

Q： data source 方面可以支持 NoSQL 嗎，例如 Azure Cosmos DB 之類的。另外當 data source 數據更新時，Kyligence Cub e 需要像其他的 OLAP Cube 去 process table/database 來 reflect 最新的數據？

A：在 Azure 上暫時不支持 NoSQL 數據源。

在 Cube 刷新時方式比較靈活，可對單獨時間區間進行刷新，也可以進行全量的數據刷新，具體使用哪種方式刷新需要根據客戶的使用場景來選擇。

Q：權限怎么和 Server 登入賬號關聯的呢？

A：簡單的說是 Tableau 在查詢 Kyligence 時會將當前登陸的用戶資訊發送給 Kyligence， Kyligence 會以該用戶的資訊來進行鑒權和查詢，具體請參考用戶手冊：

https://docs.kyligence.io/books/v4.2/zh-cn/integration/bi/tableau/user_delegation_with_tableau_server.cn.html

Q：請問報表都是實時連接到數據源去讀取？支持數據提取嗎？

A： Tableau 實時和數據提取都可以支持。