Batch Processing__Bulk Operations

---

Batch Processing (Xử lý hàng loạt) và Bulk Operations (Thao tác hàng loạt) trong JPA (Java Persistence API) là hai kỹ thuật quan trọng để tối ưu hóa hiệu suất khi làm việc với lượng lớn dữ liệu. Dưới đây là giải thích chi tiết về hai khái niệm này:

1. Batch Processing (Xử lý hàng loạt)

• Khái niệm:

  • Batch Processing là kỹ thuật xử lý một nhóm lớn các thao tác dữ liệu (ví dụ: insert, update, delete) cùng một lúc thay vì xử lý từng thao tác riêng lẻ. Điều này giúp giảm thiểu số lần tương tác với cơ sở dữ liệu, từ đó cải thiện hiệu suất.

  • Trong JPA, Batch Processing thường được triển khai thông qua việc sử dụng EntityManager để thực hiện nhiều thao tác và sau đó gọi flush() để đồng bộ hóa các thay đổi với cơ sở dữ liệu.

• Lợi ích:

  • Giảm số lần kết nối và tương tác với cơ sở dữ liệu.

  • Tăng tốc độ xử lý dữ liệu lớn.

  • Giảm tải cho cơ sở dữ liệu.

• Triển khai:

  • Sử dụng EntityManager.persist(), merge(), hoặc remove() để thực hiện các thao tác trên các entity.

  • Gọi EntityManager.flush() để đồng bộ hóa các thay đổi với cơ sở dữ liệu.

  • Có thể sử dụng EntityManager.clear() để giải phóng bộ nhớ sau khi xử lý một batch.

• Ví dụ:

  • Chèn một lượng lớn bản ghi vào cơ sở dữ liệu.

  • Cập nhật hàng loạt bản ghi theo một tiêu chí nhất định.

  • Xóa hàng loạt bản ghi không còn cần thiết.

2. Bulk Operations (Thao tác hàng loạt)

• Khái niệm:

  • Bulk Operations là các thao tác trực tiếp trên cơ sở dữ liệu mà không cần tải các entity vào bộ nhớ. Điều này giúp tránh được chi phí của việc quản lý entity, từ đó tăng hiệu suất.

  • Trong JPA, Bulk Operations thường được triển khai thông qua JPQL (Java Persistence Query Language) hoặc native SQL.

• Lợi ích:

  • Hiệu suất cao hơn so với Batch Processing trong một số trường hợp.

  • Tránh được chi phí của việc quản lý entity.

  • Phù hợp với các thao tác đơn giản như update hoặc delete theo điều kiện.

• Triển khai:

  • Sử dụng JPQL hoặc native SQL để thực hiện các thao tác update hoặc delete.

  • Gọi EntityManager.createQuery() hoặc EntityManager.createNativeQuery() để tạo query.

  • Gọi executeUpdate() để thực thi query.

• Ví dụ:

  • Cập nhật trạng thái của tất cả các đơn hàng chưa thanh toán.

  • Xóa tất cả các bản ghi tạm thời.

---

👉 Vấn đề:

• Nếu insert/update/delete từng entity riêng lẻ, Hibernate gửi nhiều query => Hiệu suất kém.

• Dùng Batch Processing giúp tối ưu bằng cách nhóm nhiều thao tác lại.

1. Batch Insert

Hibernate mặc định gửi từng insert riêng lẻ:

for (Product product : products) {
    entityManager.persist(product);
}

✅ Tối ưu bằng JDBC batching

spring.jpa.properties.hibernate.jdbc.batch_size=20

for (int i = 0; i < products.size(); i++) {
    entityManager.persist(products.get(i));
    if (i % 20 == 0) {
        entityManager.flush();
        entityManager.clear();
    }
}

2. Batch Update

🔴 Cách kém hiệu quả:

for (Product product : products) {
    product.setPrice(product.getPrice().multiply(new BigDecimal("1.1")));
    entityManager.merge(product);
}

✅ Tối ưu bằng @Modifying

@Modifying
@Query("UPDATE Product p SET p.price = p.price * 1.1 WHERE p.category.id = :categoryId")
void increaseProductPrices(@Param("categoryId") Long categoryId);

👉 Hibernate chỉ cần một query thay vì cập nhật từng bản ghi.

3. Batch Delete

🔴 Xóa từng bản ghi riêng lẻ (kém hiệu quả):

for (Product product : products) {
    entityManager.remove(product);
}

✅ Tối ưu với @Modifying:

@Modifying
@Query("DELETE FROM Product p WHERE p.category.id = :categoryId")
void deleteProductsByCategory(@Param("categoryId") Long categoryId);

Khi nào dùng JDBC Batching thay vì JPA?

• Khi cần insert/update số lượng lớn (hàng triệu bản ghi).

• Khi không cần dùng tính năng ORM của Hibernate.

• Khi muốn tối ưu hiệu suất tốt nhất có thể.

---

NGOÀI LỀ:

@Modifying trong Spring Data JPA

1. @Modifying Là Gì?

@Modifying là một annotation trong Spring Data JPA được sử dụng để đánh dấu một phương thức repository thực hiện các thao tác update, delete, hoặc insert thay vì chỉ đọc dữ liệu như các truy vấn bình thường.

Mặc định, các truy vấn trong Spring Data JPA là read-only, nhưng khi cần thay đổi dữ liệu, ta phải dùng @Modifying để báo cho Spring Data JPA biết đây là một truy vấn ghi (write query).

2. Cách Hoạt Động của @Modifying

• @Modifying không trả về entity mà chỉ trả về số bản ghi bị ảnh hưởng.

• Nếu không có @Modifying, Spring sẽ báo lỗi khi thực hiện UPDATE hoặc DELETE.

• Mặc định, nếu không có @Transactional, JPA có thể rollback nếu có lỗi.

3. Ví Dụ Cụ Thể

🔹 Cập Nhật Dữ Liệu Với @Modifying

Giả sử ta có bảng Product với các cột id, name, price. Ta muốn tăng giá tất cả sản phẩm trong một danh mục lên 10%.

@Repository
public interface ProductRepository extends JpaRepository<Product, Long> {

    @Modifying
    @Transactional
    @Query("UPDATE Product p SET p.price = p.price * 1.1 WHERE p.category.id = :categoryId")
    int increaseProductPrices(@Param("categoryId") Long categoryId);
}

👉 Giải thích:

• @Modifying: Đánh dấu đây là một truy vấn ghi (UPDATE).

• @Transactional: Đảm bảo truy vấn chạy trong transaction, tránh lỗi TransactionRequiredException.

• @Query(...): Viết JPQL update để tăng giá sản phẩm.

• Trả về int: Số bản ghi bị ảnh hưởng.

🔹 Tắt autoFlush Để Tăng Hiệu Suất

Mặc định, khi JPA chạy @Modifying, nó sẽ gọi auto-flush trước khi thực thi query. Điều này có thể ảnh hưởng đến hiệu suất nếu có nhiều thay đổi trong Persistence Context.

Để tắt auto-flush, dùng clearAutomatically = true:

@Modifying(clearAutomatically = true, flushAutomatically = false)
@Query("UPDATE Product p SET p.price = p.price * 1.1 WHERE p.category.id = :categoryId")
int increaseProductPrices(@Param("categoryId") Long categoryId);

🔹 Lợi ích:

• Tránh việc Hibernate tự động flush Persistence Context trước khi thực hiện query.

• Tăng hiệu suất khi xử lý batch update.

4. So Sánh @Modifying với EntityManager

Thay vì dùng @Modifying, ta có thể dùng EntityManager.createQuery():

@Transactional
public void increaseProductPrices(Long categoryId) {
    entityManager.createQuery("UPDATE Product p SET p.price = p.price * 1.1 WHERE p.category.id = :categoryId")
                 .setParameter("categoryId", categoryId)
                 .executeUpdate();
}

👉 Ưu điểm của @Modifying so với EntityManager:

• Code ngắn gọn hơn, dễ đọc hơn.

• Không cần tự quản lý transaction.

• Tích hợp tốt với Spring Data JPA.

5. Khi Nào Nên Dùng @Modifying?

✅ Khi cần UPDATE, DELETE, hoặc INSERT mà không cần load entity vào persistence context. ✅ Khi muốn tối ưu hiệu suất, tránh gọi .save() từng entity. ✅ Khi truy vấn cần ảnh hưởng đến nhiều bản ghi cùng lúc.

🚀 Tóm lại:

• @Modifying dùng để thay đổi dữ liệu (update/delete/insert).

• Phải kết hợp với @Transactional nếu cần đảm bảo rollback khi có lỗi.

• Dùng clearAutomatically = true để tối ưu hiệu suất khi xử lý batch updates.