Chuẩn hóa từ vựng tiếng Việt cho văn bản truyền thông xã hội
Tham khảo- Loại đề tài
- Khóa luận tốt nghiệp
- Đơn vị
- Khoa Khoa học và Kỹ thuật Thông tin, UIT
- Ngày công bố
- Nhóm thực hiện
- Lê Thanh Phong và Nguyễn Thanh Nhi
Mô tả đề tài
Khóa luận nghiên cứu cách chuẩn hóa từ viết tắt, cách viết theo lối nói trên mạng và từ sai chính tả để cải thiện việc xử lý văn bản tiếng Việt.
Nội dung nghiên cứu
Nhóm xây dựng ViLexNorm với hơn 10.000 cặp câu gốc và câu đã chuẩn hóa từ dữ liệu Facebook và TikTok. Nhóm còn mô phỏng lỗi thường gặp để bổ sung dữ liệu huấn luyện.
Kết quả
Theo bài viết của Khoa, mô hình tốt nhất đạt tỷ lệ giảm lỗi 65,22% khi dùng dữ liệu tổng hợp ở bước tiền huấn luyện.