继夫的玩弄H辣文的小说|女人与拘性猛交视频|精品欧美高清不卡高清|一起做亏亏的事情的视频|啦啦啦在线视频观看|望月直播下载ios版本|国产日韩欧美一区二区三区

  1. 首頁 > 生活 > >

實戰 | 省聯社數據下發平臺架構優化探索

生活百科數據庫分區

文 / 湖南省農村信用社聯合社信息科技部? 龍亞平
隨著金融業務數字化和線上化進程加快 ， 農商行對業務數據的需求越來越旺盛 ， 省聯社數據下發平臺逐漸難以適應這種快節奏的變化，造成省聯社和農商行相關的運維工作量增大，卻收效甚微 。本文擬使用數據庫表分區、視圖等技術對當前的數據下發平臺架構進行改造優化，解決該平臺下發數據時存在的時效性、便利性不足，更好地為農商行經營決策提供數據支持 。
當前數據下發平臺架構的局限性
在IT系統省集中模式下 ， 各農商行接入省聯社統一建設的業務系統辦理業務，產生數據都集中保存在省聯社 。為了使農商行能自主利用各業務系統產生的數據資源，滿足特色業務系統建設或個性化數據查詢需求 ， 省聯社于2013年面向農商行開放了數據下發服務 。省聯社將當日各系統業務數據在日終后匯集，按規則加工后臨時存入下發中間庫 ， 再以數據文件形式導出，按農商行拆分存放至FTP（文件傳輸）服務器 ， 各行下載各自數據文件到本地入庫后，根據本行需要使用數據 。
截至目前，轄內所有農商行都已經申請開通了數據下發vb連接數據庫實例下載，每天下發至農商行的數據文件也從最初的20多個增加到200多個 。農商行依托下發數據自建了績效考核、快貸、歷史數據查詢等個性化系統，為推進業務發展、提高管理效率提供了數據支持 。隨著下發數據時間跨度、數據內容和接入機構的增加，下發平臺的架構局限性也逐漸暴露，主要表現在以下幾點 。
1.中間環節多，耗時偏長 。從省聯社生成下發數據vb連接數據庫實例下載，到農商行應用數據 ， 中間要經歷數據拆分、農商行下載和入庫等步驟，需要耗費大約6~8小時，如果遇到網絡傳輸速率或入庫技術問題，耗時會更長 。通常情況下 ， 農商行要到數據日期的第二天下午或更晚的時間才能有效應用下發數據，逐漸難以滿足對業務數據時效性的要求 。
2.對基層運維人員專業技術要求高 。想快捷使用數據的有效途徑是經過數據庫訪問，目前架構中下發數據庫是分散部署在各農商行 ， 為保障各下發數據庫正常穩定運行，要求農商行配備數據庫專業技術人員，除熟練應用增、刪、改、查等語法操作數據外 ， 還要掌握庫表設計、空間管理、安全控制以及常見故障處置等數據庫運維技能，現形勢下大部分農商行缺乏此類專業人才的配備 。
【實戰 | 省聯社數據下發平臺架構優化探索】3.日常運維工作量大 。一是數據補發工作量大 。日常運行中，經常有農商行因為遺漏下載、核對失誤或軟硬件故障等原因造成數據丟失，需要補發時間跨度幾天甚至幾年的數據 ， 而從海量的已歸檔數據中篩選出這些需求要耗費大量時間 。二是運維人力成本高 。下發數據庫部署在各農商行，每個農商行每天要耗費1個人力花3~4小時做數據下載、入庫和核對工作 ， 從全省角度累計計算，人力成本非常高 。三是數據變更難協同 。業務是不斷發展的，數據表的邏輯結構也會不斷更新 ， 一旦下發數據表的邏輯結構有更新，就必須要求每個農商行同步對本行的下發數據庫做表結構變更，否則會造成該表后續數據無法更新 ， 此類變更全省同步協調難度大 。
優化思路及效果
為突破現有平臺的局限性，根據下發數據的應用場景，綜合考慮改造工作量和成本，對下發數據平臺進行如下改造優化（優化前后架構比較見圖1） 。取消各農商行自建的下發數據庫 ， 將原架構中的數據文件傳輸平臺替換為省聯社集中式下發數據庫（以下簡稱“集中下發庫”） 。
圖1 優化前后平臺架構比較
通過一系列的改造和整合，新架構較之前有以下三個方面的改進 。一是新架構從數據下發到數據應用的過程中，去除了省聯社拆分數據文件、農商行下載數據、入庫和核對這些中間環節，節省了大量處理時間 。二是通過數據庫直接為農商行提供數據服務 ， 取代之前下發數據文件的方式，適合目前大部分農商行的科技能力現狀，農商行無需在軟硬件和下發數據庫等運維保障上增加投入，集中精力拓展數據應用場景，在數據安全方面 ， 較文件方式更可控 。三是新架構不再有補發數據的需求，數據結構變更也只需在集中下發庫這1個節點上操作即可完成，相比原架構中的100多個節點同步做變更，極大節省了運維人力 。
如果將原分布在各農商行的100多個數據庫節點匯集到省聯社的1個節點，我們必須首先解決隨之帶來的數據庫集中訪問性能、農商行之間數據隔離等一系列問題 。因此 ， 在設計省聯社集中下發庫時，我們需要應用一些數據庫技術，解決性能和安全問題 。
技術經驗亮點
1.利用邏輯復制提升數據生成效率 。數據邏輯復制是基于數據庫的一類數據復制技術 ， 通過解析源數據庫在線日志或歸檔日志獲得數據的增、刪、改變化，再將這些變化應用到目標數據庫，達到使源數據庫與目標數據庫數據一致的目的 。在此次優化中，我們利用此項技術將下發中間庫配置為源庫，將集中下發庫配置為目標庫，中間配置帶條件限制的復制策略（如屏蔽“”關鍵字的刪除語句等） 。通過改造，只要下發中間庫完成當日數據生成，集中下發庫中就已完成新數據的同步，各農商行在T+1日開始營業時就可連接集中下發庫 ， 使用最新數據 。
2.利用表分區與子分區解決大表問題 。全省下發數據集中到一個庫存放 ， 必然會遇到大表的情況，大表的存在可能導致查詢、插入耗時太長、性能低下，特別當涉及聯合查詢時 ， 性能會更加糟糕 。在此次優化中，針對集中下發庫中的大表 ， 在物理設計時我們使用表分區和子分區技術，通過分區，邏輯上是一張表，而物理上已將大表中的數據按規則劃分為多個小數據段并散列存放在多個位置，能有效提高數據訪問效率 。如下發數據中流水表每天的記錄數增量是千萬級，存量記錄數達幾十億 ， 因此做表物理設計時，可以先通過法人機構碼將流水表水平劃分成若干個分區，然后通過交易日期將每個分區水平劃分成若干個子分區，通過分區和子分區，流水表被劃分為幾十萬條記錄一個的小數據段 。劃分后，農商行查詢某一天的流水記錄效率會有明顯提升 。
3.利用權限和視圖隔離數據訪問 。在集中下發庫中為各農商行分別創建專用的數據庫連接用戶，每個用戶只賦予查詢權限 ， 防止下發數據被非法篡改 。為實現同一個數據庫中各農商行數據訪問的隔離，我們引入數據庫視圖機制 。視圖是一種展示數據子集的虛擬表技術，通過視圖可以讓用戶只看到指定表中的某些行和列，只提供用戶權限內能訪問的數據，而不是所有信息 ， 從而起到保護數據，防止信息泄露的重要作用 。下發數據中每個表都有法人機構碼字段，可將此碼作為篩選條件 ， 為每個表創建各農商行的數據視圖，不賦予農商行用戶數據表的查詢權限，只賦予查詢本行數據視圖權限 ， 各行連接數據庫查詢時，只會看到數據表中屬于本行的記錄信息，從而達到各農商行數據隔離訪問的目的 。
4.利用集群分擔單節點負載 。未來 ， 各農商行使用下發數據場景越來越多，單臺服務器搭建集中下發庫的計算能力將達到性能瓶頸，無法滿足所有連接需求 。我們可以采用數據庫集群架構，橫向擴展服務器臺數，以分攤單臺數據庫服務器的壓力 。利用向農商行發布的數據庫連接串，可以精細化控制每個農商行固定使用集群中的某臺數據庫服務器 。集群中的各數據庫實例共享同一份數據存儲，保證數據一致，但獨立承擔各自的計算負載 。集中下發庫在設計時對表分區的考慮，以及數據只讀訪問的特性 ， 降低了各農商行數據在存儲和使用上的耦合性，這些都有助于將來集群橫向擴展時達到性能線性提升的效果 。
本文到此結束，希望對大家有所幫助 。