NHẬN DIỆN MÓN ĂN QUA HÌNH ẢNH VÀ VĂN BẢN

Bối cảnh

• Trong thực tế, tên món ăn dễ bị nhầm lẫn do khác biệt vùng miền, cách chế biến và ngôn ngữ mô tả
• Người dùng thường gặp khó khăn khi tìm hiểu thông tin món ăn qua hình ảnh hoặc văn bản trên các công cụ tìm kiếm thông thường
• Vì vậy, cần một hệ thống có thể hiểu đồng thời cả hình ảnh và ngôn ngữ để nhận diện món ăn chính xác hơn
• Cần xây dựng một mô hình có thể liên kết hình ảnh món ăn với phần mô tả bằng văn bản
• Hệ thống không chỉ nhận diện tên món mà còn cần phân biệt các món có hình thức tương tự nhau
• Ngoài ra, mô hình cũng phải hỗ trợ truy xuất thêm thông tin liên quan như văn hóa, lịch sử và giá trị dinh dưỡng của món ăn

Giải pháp

• Xây dựng hệ thống dựa trên mô hình CLIP để xử lý đồng thời hình ảnh và văn bản
• Mô hình học mối liên hệ giữa mô tả ngôn ngữ và đặc điểm thị giác của món ăn
• Từ đó, hệ thống có thể dự đoán tên món và gợi ý kết quả phù hợp dựa trên cả ảnh lẫn mô tả đầu vào
• CLIP mã hóa văn bản thành dữ liệu số để biểu diễn nội dung mô tả
• Đồng thời, hình ảnh món ăn được mã hóa để trích xuất các đặc trưng như màu sắc, hình dạng, kết cấu
• Hệ thống kết hợp thêm bước phân tích độ sáng và giá trị màu RGB để hỗ trợ phân biệt các món có ngoại hình gần giống nhau
• Dữ liệu hình ảnh sau đó được so sánh với cơ sở dữ liệu món ăn để tìm ra kết quả phù hợp

Mục tiêu

• Nhận diện món ăn chính xác hơn từ cả hình ảnh và văn bản
• Giảm tình trạng nhầm lẫn giữa các món ăn có đặc điểm gần giống nhau
• Hỗ trợ người dùng tra cứu thông tin món ăn một cách trực quan và thuận tiện hơn

Ứng dụng

• Có thể ứng dụng trên các trang web du lịch, nền tảng ẩm thực hoặc công cụ tra cứu món ăn
• Hỗ trợ người dùng tìm hiểu thêm về tên món, nguyên liệu, lịch sử và giá trị dinh dưỡng
• Có tiềm năng phát triển thành chatbot tương tác hoặc hệ thống nhận diện món ăn thông minh
• Mở rộng khả năng ứng dụng AI đa phương thức trong lĩnh vực văn hóa, du lịch và ẩm thực