Hỏi đáp
Câu hỏi thường gặp về Data Warehouse
Tổng hợp câu hỏi thường gặp về Data Warehouse, Data Lake, Lakehouse, Data Mart, ETL/ELT, Kimball, Inmon, star schema và SCD — câu trả lời ngắn gọn, có dẫn nguồn.
Data Warehouse là gì? Định nghĩa, kiến trúc và cách hoạt động
Data Warehouse tiếng Việt là gì?
Data Warehouse trong tiếng Việt là “kho dữ liệu”: hệ thống lưu trữ tập trung dữ liệu đã tích hợp từ nhiều nguồn, dùng cho phân tích và báo cáo.
Data Warehouse có phải là cơ sở dữ liệu không?
Có, về kỹ thuật kho dữ liệu thường chạy trên một hệ quản trị cơ sở dữ liệu, nhưng được thiết kế cho truy vấn phân tích (OLAP) với dữ liệu lịch sử, khác với cơ sở dữ liệu giao dịch (OLTP) tối ưu cho ghi từng bản ghi.
Ai là người đặt nền móng cho Data Warehouse?
Barry Devlin và Paul Murphy (IBM) công bố kiến trúc “business data warehouse” năm 1988; Bill Inmon đưa ra định nghĩa kinh điển năm 1992; Ralph Kimball phổ biến phương pháp mô hình hóa chiều năm 1996.
Doanh nghiệp nhỏ có cần Data Warehouse không?
Không bắt buộc. Doanh nghiệp nhỏ có ít nguồn dữ liệu có thể bắt đầu bằng báo cáo trực tiếp hoặc một data mart nhỏ trên cloud; kho dữ liệu trở nên cần thiết khi có nhiều nguồn, số liệu không khớp hoặc cần phân tích lịch sử dài.
Công cụ Data Warehouse phổ biến hiện nay là gì?
Các nền tảng phổ biến gồm Amazon Redshift, Google BigQuery, Snowflake, Microsoft Fabric Data Warehouse, Azure Synapse Analytics và Databricks SQL.
Data Warehouse, Data Lake và Data Lakehouse khác nhau thế nào?
Data Lake và Data Warehouse khác nhau ở điểm nào quan trọng nhất?
Khác biệt quan trọng nhất là thời điểm áp schema: Data Warehouse áp schema trước khi nạp (schema-on-write) và chỉ chứa dữ liệu có cấu trúc đã làm sạch; Data Lake lưu dữ liệu thô mọi định dạng và áp schema khi đọc (schema-on-read).
Lakehouse có thay thế hoàn toàn Data Warehouse không?
Chưa có câu trả lời chung. Lakehouse giải quyết được nhiều hạn chế của kiến trúc hai tầng lake + warehouse, nhưng nhiều doanh nghiệp vẫn dùng data warehouse cloud cho BI vì đơn giản và quen thuộc. Lựa chọn phụ thuộc nhu cầu AI/ML, kỹ năng đội ngũ và chi phí.
Data swamp là gì?
Data swamp (đầm lầy dữ liệu) là data lake bị mất kiểm soát: thiếu metadata, thiếu quản trị và chất lượng, khiến người dùng không tìm được hoặc không tin dữ liệu bên trong.
Delta Lake, Apache Iceberg, Apache Hudi là gì?
Đây là các định dạng bảng mở (open table format) đặt trên file Parquet trong data lake, bổ sung giao dịch ACID, lịch sử phiên bản (time travel) và tiến hóa schema — nền tảng kỹ thuật của kiến trúc lakehouse.
Kimball và Inmon: Hai phương pháp xây dựng Data Warehouse
Kimball và Inmon khác nhau như thế nào?
Inmon xây kho dữ liệu doanh nghiệp chuẩn hóa 3NF trước rồi tạo data mart phụ thuộc (top-down); Kimball xây các mô hình chiều star schema theo từng quy trình nghiệp vụ và nối chúng bằng conformed dimensions (bottom-up).
Conformed dimension là gì?
Conformed dimension là bảng dimension dùng chung, có cùng khóa, cùng tên thuộc tính và cùng ý nghĩa giữa nhiều bảng fact, giúp số liệu từ các quy trình nghiệp vụ khác nhau có thể so sánh và kết hợp.
Phương pháp nào phổ biến hơn hiện nay?
Mô hình chiều của Kimball được dùng rất rộng rãi ở tầng trình bày cho BI; nhiều kiến trúc hiện đại kết hợp tầng tích hợp theo Inmon hoặc Data Vault với tầng trình bày theo Kimball.
Data Mart là gì? Phân loại và so sánh với Data Warehouse
Data Mart có phải là Data Warehouse thu nhỏ không?
Có thể hiểu như vậy: data mart là kho dữ liệu có phạm vi hẹp, phục vụ một phòng ban hoặc chủ đề, thường là tập con của data warehouse hoặc được xây trực tiếp từ một vài nguồn.
Có nên xây Data Mart trước khi có Data Warehouse không?
Có thể, theo hướng bottom-up của Kimball, với điều kiện các data mart dùng chung conformed dimensions. Nếu mỗi data mart tự định nghĩa khách hàng, sản phẩm riêng, doanh nghiệp sẽ gặp tình trạng số liệu không khớp.
Data Mart và OLAP cube khác nhau thế nào?
Data mart là tập bảng dữ liệu (thường là star schema) lưu trong cơ sở dữ liệu; OLAP cube hoặc semantic model là lớp tổng hợp đặt trên data mart để tính sẵn số đo và tăng tốc phân tích đa chiều.
ETL và ELT khác nhau thế nào?
ETL và ELT khác nhau ở điểm nào?
Khác nhau ở nơi thực hiện biến đổi: ETL biến đổi dữ liệu trên một engine riêng trước khi nạp vào kho; ELT nạp dữ liệu thô vào kho trước rồi biến đổi bằng năng lực tính toán của chính kho dữ liệu.
ELT có tốt hơn ETL không?
Không có phương án tốt hơn tuyệt đối. ELT phù hợp với kho dữ liệu và lakehouse cloud co giãn; ETL phù hợp khi hệ thống đích hạn chế tài nguyên, quy tắc biến đổi phức tạp hoặc cần kiểm tra tuân thủ trước khi nạp.
dbt là ETL hay ELT?
dbt là công cụ cho bước Transform trong ELT: nó chạy các câu lệnh SQL biến đổi dữ liệu ngay bên trong kho dữ liệu, không tự thực hiện bước Extract và Load.
Reverse ETL dùng để làm gì?
Reverse ETL đẩy dữ liệu đã mô hình hóa từ kho dữ liệu ngược về các ứng dụng vận hành như CRM hoặc công cụ marketing để đội kinh doanh dùng trực tiếp, ví dụ đồng bộ điểm khách hàng tiềm năng vào CRM.
Star Schema và Snowflake Schema trong Data Warehouse
Star schema và snowflake schema khác nhau thế nào?
Star schema giữ mỗi dimension trong một bảng phi chuẩn hóa nối trực tiếp với bảng fact; snowflake schema chuẩn hóa dimension thành nhiều bảng phân cấp. Star schema dễ hiểu và truy vấn nhanh hơn; snowflake schema giảm trùng lặp dữ liệu.
SCD Type 2 là gì?
SCD Type 2 xử lý thay đổi thuộc tính dimension bằng cách thêm một dòng mới với surrogate key mới và ngày hiệu lực, giữ nguyên dòng cũ, nhờ đó lưu được toàn bộ lịch sử thay đổi.
Grain trong data warehouse là gì?
Grain là mức chi tiết mà một dòng trong bảng fact biểu diễn, ví dụ “một sản phẩm trên một hóa đơn” hoặc “số dư một tài khoản vào cuối ngày”. Grain phải được khai báo trước khi chọn dimension và fact.
Vì sao cần surrogate key?
Surrogate key tách kho dữ liệu khỏi khóa của hệ thống nguồn, cho phép lưu nhiều phiên bản của cùng một thực thể (SCD Type 2), tích hợp khóa từ nhiều nguồn và giữ phép join gọn nhẹ.