Hai bảng thống kê theo ngày

ezyrating_daily_statistics

statistic_date + statistic_name + record_type

ezyrating_daily_item_statistics

item_type
+ item_id
+ statistic_date
+ statistic_name
+ record_type

Luồng tổng hợp

flowchart TD
    A[Lịch sử hành động, đơn hàng hoặc đánh giá]
    B[Đọc tối đa 100 bản ghi sau page token]
    C[Xác định ngày nghiệp vụ]
    D[Phân tích trạng thái và loại dữ liệu]
    E[Gom các số gia cùng khóa]
    F[ezyrating_daily_statistics]
    G[ezyrating_daily_item_statistics]
    H[Lưu page token mới]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    E --> G
    F --> H
    G --> H

2026-10-04 / page_view / ALL → +30

Cách cập nhật một dòng thống kê

record_value         = số gia
record_decimal_value = số tiền hoặc 0
created_at           = thời điểm hiện tại
updated_at           = thời điểm hiện tại

record_value mới
    = record_value hiện tại
    + số gia

record_decimal_value mới
    = record_decimal_value hiện tại
    + số gia thập phân

Statistic statistic = repository.findByKey(
    statisticDate,
    statisticName,
    recordType
);

if (statistic == null) {
    statistic = new Statistic(
        statisticDate,
        statisticName,
        recordType
    );
}

statistic.recordValue += increment;
statistic.decimalValue += decimalIncrement;
repository.save(statistic);

Các appender cần dùng

Thống kê hành động người dùng

• Lượt xem trang.
• Số hành động theo loại.
• Tổng thời gian hành động.
• Lượt xem có tương tác.
• Tổng độ sâu cuộn.
• Số mẫu cuộn trang.
• Người dùng và IP hoạt động theo ngày.

scroll_depth_sum / ALL          +70
scroll_depth_sample_count / ALL +1

scroll_depth_sum          = 190
scroll_depth_sample_count = 3

190 / 3 = 63,33%

Thống kê theo từng đối tượng

item_type + item_id

• Số hành động.
• Thời gian hành động.
• Lượt xem.
• Lượt xem có tương tác.
• Tổng độ sâu cuộn.
• Số mẫu cuộn.
• Kênh truy cập.

product / 101 / 2026-10-04 / page_view / ALL    +1
product / 101 / 2026-10-04 / traffic / SEARCH   +1

Thống kê đơn hàng

• Đơn hàng đã tạo.
• Giỏ hàng đã chuyển thành đơn.
• Đơn hàng đã thanh toán.
• Doanh thu theo đồng tiền.

order_placed / ALL +1

cart_checked_out / ALL +1

order_paid / ALL          +1
order_revenue / currency  +1 đơn và +doanh thu

order_paid / ALL          -1
order_revenue / currency  -1 đơn và -doanh thu

Lưu doanh thu

record_value         = số đơn tạo ra doanh thu
record_decimal_value = tổng giá trị doanh thu
record_type          = ID đồng tiền

Ngày:                 2026-10-04
Chỉ số:               order_revenue
Loại:                 1
Số đơn:               4
Doanh thu:            8.750.000

• Tiền có thể có phần thập phân.
• Một số hệ thống sử dụng nhiều đồng tiền.
• Dashboard cần biết cả số đơn và tổng doanh thu để tính giá trị đơn trung bình.

Thống kê số lượng sản phẩm đã bán

product / 101 / sold_quantity / ALL +3

product / 101 / sold_quantity / ALL -3

Đã thanh toán:       +1
Hủy thanh toán:      -1
Tổng thay đổi:        0

Thống kê giỏ hàng

cart_with_products / ALL +1

Giỏ 1001 thêm sản phẩm A → +1
Giỏ 1001 thêm sản phẩm B →  0
Giỏ 1001 thêm sản phẩm C →  0

Thống kê đánh giá

rating / ALL +1

rating / ALL -1

rating / ALL 0

Thống kê lượt xem theo thuật ngữ

Bài viết 205 thuộc:
- Java
- Backend
- Tutorial

term / Java     / post_view +1
term / Backend  / post_view +1
term / Tutorial / post_view +1

Cách viết bộ gom số liệu theo ngày

record DailyKey(
    LocalDate date,
    String statisticName,
    String recordType
) {}

Map<DailyKey, StatisticValue> increments = new LinkedHashMap<>();

void increase(
    LocalDate date,
    String name,
    String type,
    long value,
    BigDecimal decimalValue
) {
    DailyKey key = new DailyKey(date, name, type);

    StatisticValue current = increments.computeIfAbsent(
        key,
        ignored -> new StatisticValue()
    );

    current.value += value;
    current.decimalValue =
        current.decimalValue.add(decimalValue);
}

record DailyItemKey(
    String itemType,
    long itemId,
    LocalDate date,
    String statisticName,
    String recordType
) {}

Tạo appender theo ngày mới

Chọn nguồn dữ liệu

@Override
protected List<Event> getValueList(Long pageToken) {
    return repository.findByIdGreaterThan(
        pageToken,
        100
    );
}

Xác định ngày nghiệp vụ

private LocalDate resolveStatisticDate(Event event) {
    if (event.getIssueDate() != null) {
        return event.getIssueDate().toLocalDate();
    }
    if (event.getCreatedAt() != null) {
        return event.getCreatedAt().toLocalDate();
    }
    return clock.nowDate();
}

Xác định số gia

increments.increase(
    date,
    "my_statistic",
    "ALL",
    1L
);

long change = calculateChange(current, previous);

if (change != 0) {
    increments.increase(
        date,
        "my_statistic",
        "ALL",
        change
    );
}

Gom dữ liệu trước khi lưu

Cập nhật page token sau cùng

@Override
protected Long extractNewLastPageToken(
    List<Event> values,
    Long currentToken
) {
    return values.isEmpty()
        ? currentToken
        : values.get(values.size() - 1).getId();
}

Cách bật các appender

• Thống kê hành động người dùng.
• Thống kê từng đối tượng.
• Thống kê đơn hàng.
• Thống kê sản phẩm trong đơn.
• Thống kê giỏ hàng.
• Thống kê đánh giá.
• Thống kê lượt xem theo thuật ngữ nếu sử dụng module nội dung.

Kiểm tra dữ liệu sau khi bật

SELECT
    statistic_date,
    statistic_name,
    record_type,
    record_value,
    record_decimal_value
FROM ezyrating_daily_statistics
ORDER BY statistic_date DESC, statistic_name;

SELECT
    item_type,
    item_id,
    statistic_date,
    statistic_name,
    record_type,
    record_value
FROM ezyrating_daily_item_statistics
ORDER BY statistic_date DESC, record_value DESC;

SELECT
    statistic_date,
    SUM(record_value) AS total_value
FROM ezyrating_daily_statistics
WHERE statistic_name = :statistic_name
  AND statistic_date BETWEEN :from_date AND :to_date
GROUP BY statistic_date
ORDER BY statistic_date;

SELECT
    item_type,
    item_id,
    SUM(record_value) AS total_value
FROM ezyrating_daily_item_statistics
WHERE statistic_name = :statistic_name
  AND statistic_date BETWEEN :from_date AND :to_date
GROUP BY item_type, item_id
ORDER BY total_value DESC
LIMIT 10;

Kiểm tra tính đúng đắn

Chạy lại appender

1. Dừng appender cần xây dựng lại.
2. Xác định chính xác các statistic_name do appender đó quản lý.
3. Xóa các dòng tương ứng trong bảng thống kê theo ngày.
4. Xóa dữ liệu ở bảng thống kê đối tượng nếu appender có ghi vào đó.
5. Xử lý dấu đã tổng hợp nếu appender sử dụng cơ chế đánh dấu.
6. Đặt lại page token.
7. Bật lại appender.
8. Theo dõi cho đến khi appender bắt kịp dữ liệu mới nhất.
9. Đối chiếu một vài ngày mẫu với dữ liệu nguồn.

Tránh cộng trùng

• Đánh dấu từng bản ghi nguồn đã được tổng hợp.
• Lưu nhật ký sự kiện đã xử lý bằng ID duy nhất.
• Dùng bảng staging và transaction.
• Lưu checkpoint cùng transaction với kết quả tổng hợp.
• Thiết kế phép ghi theo giá trị cuối cùng thay vì tăng dồn khi phù hợp.
• Cho phép quy trình xóa và xây dựng lại có kiểm soát.

Xử lý đồng thời

• Chỉ máy chủ chính nên chạy appender.
• Các máy còn lại chỉ phục vụ request hoặc đọc thống kê.
• Không tự tạo thêm scheduler cho cùng một appender.
• Khi chuyển vai trò máy chủ, cần bảo đảm appender cũ đã dừng.

Những lưu ý quan trọng

• Dùng ngày nghiệp vụ, không dùng ngày xử lý nếu hai thời điểm khác nhau.
• Phân biệt chỉ số toàn hệ thống và chỉ số từng đối tượng.
• Chuẩn hóa record_type trước khi lưu.
• Bỏ qua khóa rỗng hoặc đối tượng không hợp lệ.
• Không tính bot vào số liệu tương tác của người dùng.
• Dùng BigDecimal cho doanh thu, không dùng double.
• Cho phép số gia âm với dữ liệu có thể bị hoàn tác.
• Gom theo lô để giảm số lần truy cập cơ sở dữ liệu.
• Không cập nhật token nếu việc lưu dữ liệu chưa hoàn tất.
• Không dùng Reload như một thao tác khởi động lại thông thường.

Kết luận