Kho Dữ Liệu Việt

Bài viết kiến thức

Data Warehouse là gì? Định nghĩa, kiến trúc và cách hoạt động

Data Warehouse (kho dữ liệu) là hệ thống lưu trữ tập trung dữ liệu đã tích hợp từ nhiều nguồn để phân tích và báo cáo. Định nghĩa, 4 đặc tính, kiến trúc, OLTP vs OLAP.

  • Tác giả:
  • Cập nhật:
  • 6 phút đọc
  • 9 nguồn tham khảo

Chủ đề chính

DW vs LakeData Warehouse, Data Lake và Data Lakehouse khác nhau thế nào?So sánh Data Warehouse, Data Lake và Data Lakehouse theo loại dữ liệu, schema, chi phí, người dùng và trường hợp sử dụng.Kimball vs InmonKimball và Inmon: Hai phương pháp xây dựng Data WarehouseSo sánh phương pháp Kimball (bottom-up, mô hình chiều), Inmon (top-down, 3NF) và Data Vault 2.0 trong thiết kế Data Warehouse.Data MartData Mart là gì? Phân loại và so sánh với Data WarehouseData Mart là tập con của kho dữ liệu, tập trung vào một chủ đề hoặc phòng ban.ETL vs ELTETL và ELT khác nhau thế nào?ETL biến đổi dữ liệu trước khi nạp vào kho; ELT nạp trước rồi biến đổi ngay trong kho dữ liệu.Star schemaStar Schema và Snowflake Schema trong Data WarehouseStar schema gồm một bảng fact ở trung tâm nối với các bảng dimension.

Data Warehouse là gì?

Data Warehouse (tiếng Việt: kho dữ liệu, viết tắt DW hoặc DWH) là một kho lưu trữ tập trung chứa dữ liệu lịch sử đã được tích hợp từ nhiều nguồn như ERP, CRM, hệ thống bán hàng, file Excel. AWS mô tả kho dữ liệu là một kho thông tin tập trung có thể được phân tích để đưa ra quyết định tốt hơn [2].

Định nghĩa kinh điển nhất đến từ Bill Inmon — người thường được gọi là “cha đẻ của data warehouse”:

“A data warehouse is a subject-oriented, integrated, time-variant, and non-volatile collection of data in support of management's decision making process.”

— W. H. Inmon, Building the Data Warehouse (1992) [1]

4 đặc tính của Data Warehouse theo Inmon

Bốn đặc tính cốt lõi của kho dữ liệu
Đặc tínhÝ nghĩaVí dụ
Hướng chủ đề (subject-oriented)Tổ chức theo chủ đề kinh doanh, không theo ứng dụngChủ đề “Khách hàng”, “Doanh thu”, “Tồn kho”
Tích hợp (integrated)Dữ liệu từ nhiều nguồn được chuẩn hóa về cùng định dạng, mã, đơn vịMã khách hàng ở CRM và ERP được hợp nhất thành một
Gắn với thời gian (time-variant)Lưu lịch sử, mỗi bản ghi gắn với một mốc hoặc khoảng thời gianDoanh thu theo ngày trong 5 năm gần nhất
Không thay đổi (non-volatile)Dữ liệu đã nạp chủ yếu được đọc, không bị ghi đè như hệ thống giao dịchĐơn hàng tháng trước không bị sửa trực tiếp trong kho

Data Warehouse khác gì cơ sở dữ liệu giao dịch (OLTP)?

Cơ sở dữ liệu giao dịch (OLTP) tối ưu cho việc ghi từng bản ghi nhỏ, nhanh. Kho dữ liệu phục vụ xử lý phân tích (OLAP): đọc khối lượng lớn, tổng hợp, so sánh theo thời gian. Microsoft Learn mô tả hệ OLAP được tối ưu cho tác vụ đọc nhiều, ghi ít và thường giữ dữ liệu lịch sử cho phân tích chuỗi thời gian [3].

So sánh OLTP và Data Warehouse (OLAP)
Tiêu chíOLTP (CSDL giao dịch)Data Warehouse (OLAP)
Mục đíchVận hành nghiệp vụ hằng ngàyPhân tích, báo cáo, ra quyết định
Kiểu truy vấnĐọc/ghi từng bản ghiĐọc và tổng hợp hàng triệu bản ghi
Mô hình dữ liệuChuẩn hóa (thường 3NF)Star schema, snowflake schema hoặc cube
Dữ liệu lịch sửChủ yếu dữ liệu hiện hànhLưu lịch sử nhiều năm
Người dùngNhân viên nghiệp vụ, ứng dụngNhà phân tích, quản lý, công cụ BI
Ví dụSQL Server, PostgreSQL, MySQL của hệ bán hàngBigQuery, Redshift, Snowflake, Fabric Warehouse

Kiến trúc Data Warehouse gồm những tầng nào?

Một kiến trúc kho dữ liệu điển hình có 5 tầng:

Luồng dữ liệu trong kiến trúc Data Warehouse Hệ thống nguồn, sang ETL/ELT, sang kho dữ liệu, sang data mart, sang công cụ BI. Nguồn ETL / ELT Data Warehouse Data Mart BI / Báo cáo
Hình 1. Luồng dữ liệu điển hình từ hệ thống nguồn tới báo cáo.
  1. Tầng nguồn (source): ERP, CRM, POS, website, file, API.
  2. Tầng tích hợp (ETL/ELT, staging): trích xuất, làm sạch, chuẩn hóa dữ liệu. Xem thêm ETL và ELT khác nhau thế nào.
  3. Tầng kho dữ liệu lõi (core/EDW): dữ liệu tích hợp, có lịch sử, là “nguồn sự thật duy nhất” (single source of truth).
  4. Tầng data mart / semantic layer: tập dữ liệu theo phòng ban hoặc chủ đề, đặt tên thân thiện với người dùng. Xem Data Mart là gì.
  5. Tầng khai thác: dashboard, báo cáo, phân tích tự phục vụ, mô hình ML.

Với nền tảng lakehouse, các tầng này thường được đặt tên theo kiến trúc medallion: Bronze (dữ liệu thô), Silver (đã làm sạch), Gold (đã tổng hợp theo nhu cầu kinh doanh) [4].

Lợi ích của Data Warehouse đối với doanh nghiệp

  • Một nguồn số liệu thống nhất: các phòng ban dùng chung định nghĩa KPI, tránh tình trạng “mỗi báo cáo một con số” [3].
  • Không ảnh hưởng hệ thống vận hành: truy vấn phân tích nặng chạy trên kho, không làm chậm hệ thống bán hàng [3].
  • Phân tích xu hướng lịch sử: so sánh cùng kỳ, theo mùa, theo nhiều năm.
  • Chất lượng dữ liệu tốt hơn: dữ liệu được kiểm tra, chuẩn hóa trước khi dùng.
  • Nền tảng cho BI, AI/ML: dữ liệu sạch, có cấu trúc là đầu vào cho dashboard và mô hình dự báo.

Lịch sử phát triển của Data Warehouse

Các mốc quan trọng
NămSự kiện
1988Barry Devlin và Paul Murphy (IBM) công bố kiến trúc “business data warehouse” trên IBM Systems Journal [5].
1992Bill Inmon xuất bản Building the Data Warehouse, đưa ra định nghĩa 4 đặc tính [1].
1996Ralph Kimball xuất bản The Data Warehouse Toolkit, phổ biến mô hình hóa chiều (star schema) [6].
2010sKho dữ liệu trên cloud (Redshift, BigQuery, Snowflake) và khái niệm data lake trở nên phổ biến [7].
2021Bài báo CIDR đề xuất kiến trúc Lakehouse, hợp nhất data lake và data warehouse [8].

Khi nào doanh nghiệp cần xây dựng Data Warehouse?

Các dấu hiệu thường gặp:

  • Dữ liệu nằm rải rác ở nhiều hệ thống, phải ghép tay bằng Excel mỗi kỳ báo cáo.
  • Số liệu giữa các phòng ban không khớp nhau.
  • Chạy báo cáo trực tiếp trên hệ thống giao dịch làm hệ thống chậm.
  • Cần phân tích lịch sử nhiều năm mà hệ thống nguồn không lưu giữ.
  • Muốn triển khai dashboard tự phục vụ hoặc mô hình AI/ML trên dữ liệu doanh nghiệp.

Các bước xây dựng Data Warehouse

  1. Xác định mục tiêu kinh doanh và KPI cần đo lường.
  2. Khảo sát hệ thống nguồn: dữ liệu nằm ở đâu, chất lượng ra sao, tần suất cập nhật.
  3. Chọn kiến trúc và phương pháp: Kimball, Inmon hay Data Vault; data warehouse hay lakehouse.
  4. Thiết kế mô hình dữ liệu theo quy trình 4 bước của Kimball: chọn quy trình nghiệp vụ → xác định grain (mức chi tiết) → xác định dimension → xác định fact [9]. Xem Star schema và Snowflake schema.
  5. Xây dựng pipeline ETL/ELT và lịch chạy.
  6. Kiểm thử chất lượng dữ liệu (đối soát số liệu với nguồn).
  7. Xây dựng semantic layer và báo cáo BI.
  8. Quản trị dữ liệu (data governance): phân quyền, từ điển dữ liệu, giám sát.

Câu hỏi thường gặp

Data Warehouse tiếng Việt là gì?

Data Warehouse trong tiếng Việt là “kho dữ liệu”: hệ thống lưu trữ tập trung dữ liệu đã tích hợp từ nhiều nguồn, dùng cho phân tích và báo cáo.

Data Warehouse có phải là cơ sở dữ liệu không?

Có, về kỹ thuật kho dữ liệu thường chạy trên một hệ quản trị cơ sở dữ liệu, nhưng được thiết kế cho truy vấn phân tích (OLAP) với dữ liệu lịch sử, khác với cơ sở dữ liệu giao dịch (OLTP) tối ưu cho ghi từng bản ghi.

Ai là người đặt nền móng cho Data Warehouse?

Barry Devlin và Paul Murphy (IBM) công bố kiến trúc “business data warehouse” năm 1988; Bill Inmon đưa ra định nghĩa kinh điển năm 1992; Ralph Kimball phổ biến phương pháp mô hình hóa chiều năm 1996.

Doanh nghiệp nhỏ có cần Data Warehouse không?

Không bắt buộc. Doanh nghiệp nhỏ có ít nguồn dữ liệu có thể bắt đầu bằng báo cáo trực tiếp hoặc một data mart nhỏ trên cloud; kho dữ liệu trở nên cần thiết khi có nhiều nguồn, số liệu không khớp hoặc cần phân tích lịch sử dài.

Công cụ Data Warehouse phổ biến hiện nay là gì?

Các nền tảng phổ biến gồm Amazon Redshift, Google BigQuery, Snowflake, Microsoft Fabric Data Warehouse, Azure Synapse Analytics và Databricks SQL.

Nguồn tham khảo

  1. Inmon, W. H. (1992). Building the Data Warehouse. John Wiley & Sons.
  2. Amazon Web Services. “What is a Data Warehouse?”. AWS. aws.amazon.com
  3. Microsoft. “Online Analytical Processing – Azure Architecture Center”. Microsoft Learn. learn.microsoft.com
  4. Databricks. “What is Medallion Architecture?”. Databricks. www.databricks.com
  5. Devlin, B. A. & Murphy, P. T. (1988). “An architecture for a business and information system”. IBM Systems Journal, 27(1).
  6. Wikipedia. “Data warehouse”. Wikipedia. en.wikipedia.org
  7. Wikipedia. “Data lake”. Wikipedia. en.wikipedia.org
  8. Armbrust, M., Ghodsi, A., Xin, R. & Zaharia, M. (2021). “Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics”. CIDR 2021. www.cidrdb.org
  9. Kimball Group. “Dimensional Modeling Techniques”. Kimball Group. www.kimballgroup.com

↑ Lên đầu trang