Quay lại danh sách đề tài

Chuẩn hóa từ vựng tiếng Việt cho văn bản truyền thông xã hội

Tham khảo
Loại đề tài
Khóa luận tốt nghiệp
Đơn vị
Khoa Khoa học và Kỹ thuật Thông tin, UIT
Ngày công bố
Nhóm thực hiện
Lê Thanh Phong và Nguyễn Thanh Nhi

Mô tả đề tài

Khóa luận nghiên cứu cách chuẩn hóa từ viết tắt, cách viết theo lối nói trên mạng và từ sai chính tả để cải thiện việc xử lý văn bản tiếng Việt.

Nội dung nghiên cứu

Nhóm xây dựng ViLexNorm với hơn 10.000 cặp câu gốc và câu đã chuẩn hóa từ dữ liệu Facebook và TikTok. Nhóm còn mô phỏng lỗi thường gặp để bổ sung dữ liệu huấn luyện.

Kết quả

Theo bài viết của Khoa, mô hình tốt nhất đạt tỷ lệ giảm lỗi 65,22% khi dùng dữ liệu tổng hợp ở bước tiền huấn luyện.