淺析SQL2008的Change Data Capture功能_Mssql數據庫教程
推薦:如何使用SQL Server嵌套子查詢很多SQL Server程序員對子查詢(subqueries)的使用感到困惑,尤其對于嵌套子查詢(即子查詢中包含一個子查詢)。現在,就讓我們追本溯源地探究這個問題。 有兩種子查詢類型:標準和相關。標
在常見的企業數據平臺管理中有一項任務是一直困擾SQL Server DBA們的,這就是對數據更新的監控。很多數據應用都需要捕獲對業務數據表的更新。筆者見過幾種解決方案:
1、在數據表中加入特殊的標志列;
2、 通過在數據表上創建觸發器;
3、通過第三方產品,例如Lumigent的Log Explorer。
其實第1種和第2中方案都不好,因為第1種方法需要在應用程序編碼的時候尤為小心,如果有一段數據訪問邏輯忘了更新標志位就會導致遺漏某些數據更新,而第2種方法對性能影響過于明顯,因為觸發器的性能開銷是眾所周知的。第3種方法其實屬于一種叫做Log Audit的方案體系。因為SQL Server同其他關系型數據庫一樣,所有數據操作都會在日志中記錄,因此通過分析日志就可以獲得完整的數據操作歷史。SQL Server其實早就有內部的API可供ISV開發者中Log Audit的方案,不過微軟對這套API控制比較嚴格,只有簽署了一堆協議的核心級合作伙伴才能了解這套API。
因此,現對業務數據更新的跟蹤在SQL Server平臺上一直是一件非常頭疼的事情,用戶需要在投入大量開發精力和投入額外采購成本之間做出選擇。幸運的事,微軟終于在SQL Server 2008中提供了一套半公開的Log Audit機制,就是我們所說的Change Data Capture,我們后面簡稱CDC。
CDC的工作原理
我們前面說過CDC是通過分析日志獲得數據操作歷史信息的,那么CDC的工作原理到底是怎么樣的呢?下圖可以非常貼切地說明這個功能的原理:
圖1 |
◆當DML提交到應用數據庫時,SQL Server必須寫入日志,并在緩存中更新數據,然后在檢查點將內存中的數據刷回數據文件。
◆CDC的內部進程根據CDC的設置,在日志文件中提取更新歷史信息,并將這些個更新信息寫入對應的更新跟蹤表。
◆DBA或開發人員通過調用CDC的函數來訪問更新跟蹤表,提取感興趣的更新歷史信息,并通過ETL應用程序更新數據倉庫。
◆理論上面更新跟蹤表事會無限制增長的,因此CDC內部有一個清理進程,在默認情況下更新跟蹤信息在寫入跟蹤表三天后會被自動清理。
CDC的配置
由于CDC是一項比較高端的功能,因此只有在SQL Server 2008的企業版、開發版和評估版中才能找到CDC功能。
啟用數據庫級別的CDC
要啟用CDC功能,首先需要一個sysadmin服務器角色的成員用戶激活數據庫級別的CDC,這個過程可以通過sys.sp_cdc_enable_db_change_data_capture存儲過程來完成。如果想知道一個數據庫是否啟用了CDC功能,可以通過查詢sys.databases系統目錄的is_cdc_enabled字段。
當一個數據庫啟用CDC功能后,SQL Server會自動在這個數據庫中創建cdc架構和cdc用戶,所有CDC相關的數據表和用戶函數都會存放在cdc架構下。
CDC功能啟用后,SQL Server會首先在cdc架構下創建五張表用于記錄一些CDC的原數據,分別是ddl_history,change_tables,captured_columns,index_columns和lsn_time_mapping。
在數據庫啟用了CDC后,接下來我們就需要在數據表上啟用CDC了。屬于db_owner角色的用戶可以通過存儲過程sys.sp_cdc_enable_table_change_data_capture來啟用對某張數據表的更新跟蹤,一張數據表最多可以設置兩個跟蹤實例。每個跟蹤實例中可以設置對原始數據表的所有列或部分列進行更新跟蹤。如果想知道數據表是否進行了更新跟蹤,DBA可以查詢sys.tables系統目錄的is_tracked_by_cdc字段。
對一張數據表啟用CDC跟蹤實例后,SQL Server會在cdc架構下創建一張數據表用于記錄從日志中解析出來的更新歷史信息。
一段CDC的評估腳本
為了評估CDC功能,我特地寫了一段腳本如下:
1、首先創建一個測試數據庫;
2、然后激活TestCDC數據庫上的更新捕獲功能;
|
執行了存儲過程sp_cdc_enable_db_change_data_capture后,就會在數據庫TestCDC中看到有一些新的表被創建了,分別是ddl_history,change_tables,captured_columns,index_columns和lsn_time_mapping,并且這5張表都是在cdc架構下。
分享:SQL多表格查詢合并至單一聲明的常用方式在對跨多個表格的數據進行組合時,有時很難搞清楚要使用哪一個SQL句法。我將在這里對將多個表格中的查詢合并至單一聲明中的常用方式進行闡述。 在這篇文章中的樣本查詢符合SQL92 ISO標準。不
- sql 語句練習與答案
- 深入C++ string.find()函數的用法總結
- SQL Server中刪除重復數據的幾個方法
- sql刪除重復數據的詳細方法
- SQL SERVER 2000安裝教程圖文詳解
- 使用sql server management studio 2008 無法查看數據庫,提示 無法為該請求檢索數據 錯誤916解決方法
- SQLServer日志清空語句(sql2000,sql2005,sql2008)
- Sql Server 2008完全卸載方法(其他版本類似)
- sql server 2008 不允許保存更改,您所做的更改要求刪除并重新創建以下表
- SQL Server 2008 清空刪除日志文件(瞬間日志變幾M)
- Win7系統安裝MySQL5.5.21圖解教程
- 將DataTable作為存儲過程參數的用法實例詳解
- 相關鏈接:
- 教程說明:
Mssql數據庫教程-淺析SQL2008的Change Data Capture功能。