Tăng cường dữ liệu bình luận thương mại điện tử bằng mô hình ngôn ngữ lớn

Bình luận khách hàng và bài toán mất cân bằng dữ liệu

Bình luận của khách hàng không chỉ phản ánh mức độ hài lòng sau mua hàng mà còn giúp doanh nghiệp nhận diện những vấn đề liên quan đến sản phẩm, giao hàng và dịch vụ chăm sóc khách hàng. Việc phân tích hiệu quả nguồn dữ liệu này có thể hỗ trợ doanh nghiệp hiểu rõ hơn nhu cầu của người tiêu dùng và đưa ra quyết định phù hợp.

Tuy nhiên, dữ liệu bình luận thực tế thường có sự chênh lệch giữa các nhóm cảm xúc. Khi số lượng bình luận tích cực chiếm ưu thế, mô hình học máy có thể thiên về nhóm dữ liệu phổ biến và giảm khả năng nhận diện các phản hồi tiêu cực. Đây lại là nhóm thông tin quan trọng giúp doanh nghiệp phát hiện những hạn chế trong sản phẩm và trải nghiệm mua sắm.

Một giải pháp cho vấn đề này là tăng cường dữ liệu, tức tạo thêm các mẫu mới dựa trên dữ liệu hiện có. Tuy nhiên, những kỹ thuật truyền thống như thay thế từ đồng nghĩa, thêm hoặc xóa từ có thể làm thay đổi ý nghĩa và sắc thái cảm xúc của câu.

Trong bối cảnh đó, mô hình ngôn ngữ lớn (Large Language Models - LLM) mở ra hướng tiếp cận mới nhờ khả năng diễn giải lại câu văn dựa trên ngữ cảnh. Nghiên cứu khai thác khả năng này để tạo thêm bình luận tiêu cực có nội dung tương đương nhưng cách diễn đạt khác biệt, nhằm bổ sung dữ liệu cho quá trình huấn luyện mô hình phân tích cảm xúc.

Ứng dụng GPT-3.5 Turbo để tăng cường dữ liệu tiếng Việt

Nghiên cứu sử dụng bộ dữ liệu AIVIVN 2019, gồm 16.087 bình luận thương mại điện tử tiếng Việt, trong đó có 9.280 bình luận tích cực (57,69%) và 6.807 bình luận tiêu cực (42,31%). Nhằm bảo đảm việc đánh giá có cơ sở so sánh nhất quán, nhóm nghiên cứu chia dữ liệu thành tập huấn luyện và tập kiểm tra theo tỷ lệ 80:20, đồng thời duy trì tỷ lệ phân bố các nhóm cảm xúc tương ứng.

Thay vì chỉ thay đổi một vài từ trong câu, nhóm nghiên cứu sử dụng GPT-3.5 Turbo để diễn giải lại các bình luận tiêu cực. Mô hình được yêu cầu giữ nguyên nội dung cốt lõi và sắc thái tiêu cực của bình luận gốc, nhưng thay đổi cách dùng từ và cấu trúc câu.

Kết quả, 1.979 bình luận tiêu cực mới được tạo ra để cân bằng số lượng mẫu giữa hai nhóm cảm xúc trong tập huấn luyện. Các bình luận này được bổ sung vào dữ liệu huấn luyện, trong khi tập kiểm tra được giữ độc lập để so sánh hiệu suất giữa mô hình sử dụng dữ liệu ban đầu và mô hình sử dụng dữ liệu tăng cường.

Cách tiếp cận này cho phép tận dụng khả năng xử lý ngôn ngữ của LLM để mở rộng dữ liệu mà không cần thu thập thêm toàn bộ bình luận từ người dùng. Tuy nhiên, chất lượng và độ phù hợp của dữ liệu được tạo ra vẫn cần được đánh giá trước khi sử dụng trong thực tế.

Kết quả phân tích: Dữ liệu mới đa dạng hơn nhưng vẫn giữ nguyên ý nghĩa

Kết quả phân tích cho thấy, khi GPT-3.5 Turbo diễn giải lại các bình luận, cách sử dụng từ ngữ có sự thay đổi đáng kể. Tổng số từ giảm khoảng 15,7%, từ hơn 50.000 xuống còn hơn 42.000 từ. Số lượng từ khác nhau cũng giảm từ 3.813 xuống còn 2.207 từ.

Ngược lại, độ dài câu tăng nhẹ. Chẳng hạn, một bình luận ngắn như “Không tốt” có thể được diễn giải thành “Không đạt yêu cầu hoặc không đạt chuẩn”. Dù cách diễn đạt dài hơn, sắc thái tiêu cực của bình luận vẫn được giữ lại.

Điều này cho thấy GPT-3.5 Turbo có xu hướng chuẩn hóa cách diễn đạt và hạn chế sử dụng những từ ít phổ biến. Tuy nhiên, dữ liệu mới không đa dạng hơn về từ vựng theo các chỉ số được khảo sát, mà chủ yếu bổ sung những cách diễn đạt khác nhau cho cùng một ý nghĩa. Đây là yếu tố cần lưu ý khi sử dụng dữ liệu do AI tạo ra.

Tăng cường dữ liệu giúp cải thiện hiệu suất phân tích cảm xúc

Để đánh giá hiệu quả của phương pháp, nhóm nghiên cứu xây dựng hai mô hình phân tích cảm xúc bằng thuật toán Rừng Ngẫu Nhiên, hay Random Forest. Một mô hình được huấn luyện bằng dữ liệu ban đầu, mô hình còn lại sử dụng dữ liệu đã được tăng cường bằng AI. Sau đó, cả hai được đánh giá trên cùng một tập dữ liệu kiểm tra.

Kết quả cho thấy mô hình sử dụng dữ liệu tăng cường đạt hiệu suất tốt hơn ở hầu hết các chỉ số. Độ chính xác tổng thể tăng từ 88,56% lên 89,34%. Điểm F1 trung bình giữa các nhóm cảm xúc cũng tăng từ 88,40% lên 89,22%.

Đáng chú ý, mức cải thiện rõ nhất nằm ở khả năng nhận diện bình luận tiêu cực. Tỷ lệ nhận diện đúng nhóm này tăng từ 90,68% lên 92,88%. Điểm F1 cũng tăng từ 87,03% lên 88,06%. Kết quả cho thấy mô hình có thể nhận diện tốt hơn các phản hồi tiêu cực sau khi được bổ sung dữ liệu.

Với nhóm bình luận tích cực, độ chính xác khi dự đoán nhóm này tăng từ 92,71% lên 94,32%. Điểm F1 tăng từ 89,77% lên 90,37%, dù khả năng nhận diện đầy đủ các bình luận tích cực giảm nhẹ.

Nhìn chung, việc sử dụng AI để tạo thêm dữ liệu có tiềm năng cải thiện hiệu quả phân tích cảm xúc, đặc biệt trong việc nhận diện bình luận tiêu cực. Kết quả này cũng gợi mở khả năng ứng dụng mô hình ngôn ngữ lớn để hỗ trợ xử lý tình trạng mất cân bằng dữ liệu.

Tuy nhiên, hiệu quả của phương pháp vẫn cần được kiểm chứng thêm trên nhiều bộ dữ liệu và mô hình khác nhau để đánh giá khả năng áp dụng trong thực tế.

Hàm ý cho doanh nghiệp

Từ kết quả nghiên cứu, doanh nghiệp thương mại điện tử có thể cân nhắc một số hướng ứng dụng:

Thứ nhất, bổ sung dữ liệu cho những nhóm phản hồi còn thiếu. Khi xây dựng hệ thống phân tích cảm xúc, doanh nghiệp có thể xem xét sử dụng LLM để tạo thêm dữ liệu cho nhóm bình luận ít xuất hiện, qua đó hỗ trợ cải thiện khả năng nhận diện các phản hồi tiêu cực.

Thứ hai, gắn kết quả phân tích với hoạt động cải thiện dịch vụ. Dữ liệu bình luận tiêu cực sau khi được nhận diện có thể được phân loại và theo dõi để hỗ trợ phát hiện những vấn đề liên quan đến chất lượng sản phẩm, giao hàng và chăm sóc khách hàng. Đây là cơ sở để doanh nghiệp xác định các nội dung cần ưu tiên xử lý và cải thiện trải nghiệm mua sắm.

Thứ ba, kiểm soát chất lượng dữ liệu trước khi ứng dụng. Bình luận do LLM tạo ra cần được kiểm tra về ý nghĩa, sắc thái cảm xúc và mức độ phù hợp với dữ liệu thực tế. Doanh nghiệp cũng cần đánh giá hiệu suất mô hình trên dữ liệu thực trước khi đưa vào vận hành, tránh phụ thuộc hoàn toàn vào dữ liệu tổng hợp.

Như vậy, giá trị của mô hình ngôn ngữ lớn (LLM) không chỉ nằm ở khả năng tạo thêm dữ liệu, mà còn ở tiềm năng hỗ trợ doanh nghiệp khai thác phản hồi khách hàng hiệu quả hơn. Tuy nhiên, hiệu quả ứng dụng vẫn cần được kiểm chứng trong thực tế.

Nhìn chung, nghiên cứu cho thấy việc sử dụng GPT-3.5 Turbo để diễn giải lại bình luận tiêu cực là một hướng tiếp cận tiềm năng nhằm khắc phục tình trạng mất cân bằng dữ liệu tiếng Việt. Trong thử nghiệm, dữ liệu tăng cường giúp cải thiện hiệu suất phân tích cảm xúc, đặc biệt là khả năng nhận diện bình luận tiêu cực.

Tuy nhiên, nghiên cứu mới được thực hiện với GPT-3.5 Turbo, thuật toán Random Forest và bộ dữ liệu AIVIVN 2019. Vì vậy, các nghiên cứu tiếp theo cần thử nghiệm trên nhiều mô hình ngôn ngữ lớn, thuật toán và bộ dữ liệu khác nhau để đánh giá toàn diện hơn hiệu quả và khả năng ứng dụng của phương pháp.

Xem toàn bộ bài nghiên cứu Tăng cường dữ liệu bình luận thương mại điện tử bằng mô hình ngôn ngữ lớn TẠI ĐÂY. 

Nhóm tác giả:

ThS. Trần Sơn Nam, Nguyễn Nhã Yến - Đại học Kinh tế Thành phố Hồ Chí Minh (UEH)

Đây là bài viết nằm trong chuỗi bài lan tỏa nghiên cứu và kiến thức ứng dụng với thông điệp “Research Contribution For All – Nghiên Cứu Vì Cộng Đồng” do UEH phối hợp cùng Báo và Phát thanh, Truyền hình Khánh Hòa thực hiện nhằm mục tiêu đồng hành cùng sự phát triển bền vững của tỉnh Khánh Hòa. UEH trân trọng kính mời Quý độc giả cùng đón xem bản tin Tri thức khoa học trên chuyên trang học thuật “Where Knowledge Converges” tiếp theo

Tin, ảnh: UEH

Giọng đọc: Thanh Kiều