Data mining - Tổng quan

-

Ngày nay, với sự phát triển nhanh chóng của các thiết bị lưu trữ và thu thập dữ liệu, thì lượng dữ liệu được sinh ra có thể được xem như nhiều đến mức bùng nổ. Từ rất lâu, các nhà nghiên cứu đã nhận ra dường như các tập dữ liệu này có thể tiết lộ cho chúng ta điều gì đó về bản chất, tính chất của một sự vật, sự việc, hiện tượng hoặc cũng có thể dự báo trước một sự kiện nào đó mà các phương pháp nghiên cứu trước đây chưa thực hiện được. Chính các chuyên gia trong nhiều lĩnh vực khác nhau cũng rất ngạc nhiên về những gì mà Data mining (DM) nói riêng hay AI nói chung có thể làm được. Một số ứng dụng của DM đã và đang được áp dụng có thể kể đến như: chẩn đoán bệnh qua ảnh y khoa, dự đoán giá chứng khoán, dự báo thời tiết, tìm kiếm các khách hàng tiềm năng hay các bài toán đề xuất cho user (hình minh họa đề xuất bài hát trên soundcloud).


Nhìn chung, một quá trình khai phá tri thức từ dữ liệu (Knowledge discovery from data - KDD) đầy đủ gồm ba bước chính, mà DM chỉ là một trong ba bước đó, bao gồm:
1. Tiền xử lý (pre-processing): Dữ liệu thô trong các tập dữ liệu chưa thể khai thác ngay được, mà phải được xử lý qua các bước ban đầu.
2. Khai phá dữ liệu (data mining): Bao gồm các kỹ thuật để rút trích các data pattern từ tập dữ liệu.
3. Hậu xử lý (post-processing): Bao gồm các phương pháp đánh giá các pattern được khai phá có ích hay không, sau đó là trực quan hóa các pattern này để end-user có thể hiểu được ý nghĩa của chúng.

Nói về data pattern, những thứ chúng ta thu được sau quá trình KDD đều được gọi là data pattern (DP). Có nhiều kỹ thuật DM (data mining functionality) có thể được thực hiện để thu được DP, tùy thuộc vào yêu cầu của bài toán, bao gồm: characterization and discrimination; frequent patterns, associations and correlations; classification and regression; clustering analysis; outlier analysis. Nhìn chung, các kỹ thuật này được xếp vào hai loại: descriptive (mô tả các đặc trưng của dữ liệu) và predictive (từ tập dữ liệu quá khứ, đưa ra dự đoán cho tương lai). Chi tiết các kỹ thuật này sẽ được đề cập sau.

Giống như các ngành khác trong lĩnh vực máy tính, hiện nay DM gặp phải một vấn đề không mang tính kỹ thuật. Ví dụ một bài toán cụ thể là tìm ra các điện thoại iPhone có màn hình bị lỗi thông qua ảnh chụp. Trong điều kiện lý tưởng, nếu tập dữ liệu đầu vào bao gồm cả hình ảnh của sản phẩm tốt và sản phẩm lỗi, thì việc build một hệ thống thỏa yêu cầu đề bài là khả thi. Tuy nhiên, với tính chất nhạy cảm của dữ liệu, dữ liệu đầu vào chỉ cho hình ảnh của những sản phẩm tốt. Tại sao như vậy? Vì với một tập dữ liệu đầy đủ trong điều kiện lý tưởng, rất có thể những thông tin khác về quy trình sản xuất, các kỹ thuật được áp dụng của iPhone sẽ bị khai thác và tiết lộ ra ngoài. Điều tương tự xảy ra với dữ liệu nhạy cảm của ngân hàng, chính phủ,... Do đó, đây là một trong những thách thức mà DM đang gặp phải: vẫn phải khai phá được tri thức, với tập dữ liệu đầu vào nhỏ.

Comments

Post a Comment

Popular posts from this blog

[Kiến trúc máy tính] Phần 1: Từ tín hiệu sóng điện từ đến phần mềm máy tính

-
Đối với mình, phát minh vĩ đại nhất của nhân loại trong lĩnh vực khoa học nói chung và vật lý nói riêng, chính là động cơ điện. 200 năm từ khi Michael Faraday phát minh ra động cơ điện (1821), con người đã đạt được những thành tựu to lớn nhờ vào việc ứng dụng các công nghệ trong lĩnh vực điện - điện tử.  Nói riêng trong ngành công nghiệp máy tính, xuất phát từ những tín hiệu sóng điện từ đơn giản, ngày nay, những gì chúng ta có là những mạng xã hội Facebook, Twitter thống trị toàn cầu, công cụ tìm kiếm Google mang tri thức thế giới đến cho bạn chỉ với một cú click, Youtube áp đảo mảng truyền thông so với các công ty truyền thống, Bitcoin đe doạ vị thế của các loại tiền tệ và ngân hàng tại nhiều quốc gia,... Giống như nhiều ngành công nghiệp khác, sự phát triển của ngành máy tính gắn liền với quá trình chuyên môn hóa. Xuất phát điểm đơn giản, máy tính được sinh ra để giúp con người tính toán, lưu trữ và trao đổi thông tin. Dù trong bất kì giai đoạn phát triển nào, máy tính cũng chỉ có t
Read more

Chặng đường thứ nhất: Toán học và khát khao

-
Image
Sau một quãng thời gian khá dài, từ khi vào Sài Gòn năm 2014, thì mình mới có thể đạt được một cái gọi là gì đó. Nếu chia cuộc đời thành những chặng đường dài, thì mình đã đi qua hai chặng. Chặng thứ nhất là mười tám năm ở mảnh đất miền Trung, còn chặng thứ hai là gần bảy năm ở thành phố miền Nam này. Có lẽ đây là thời điểm mình có thể nhìn lại cả hai chặng đường trước khi bước tiếp. Mười tám năm và niềm đam mê Toán học Cuộc đời mình may mắn được gặp những người thầy giỏi, nên việc đi học luôn là một niềm hạnh phúc.  Người thầy đầu tiên của mình là ông ngoại, người đã đặt nền móng và xác định trong tư tưởng của mình rằng Toán và ngoại ngữ là hai môn học quan trọng nhất. Đến tận hai mươi năm sau, điều đó vẫn còn đúng. Chính nhờ nền móng đó, nên trong bất kỳ khoảng thời gian nào sau này, mình đều được đi học trong môi trường tốt nhất, được gặp những thầy cô giỏi và tâm huyết nhất.  Thời cấp một, người thầy mình quý nhất là thầy Luyện và thầy Thanh.  Thầy Luyện là người tin tưởng giao ch
Read more

Hợp và tan

-
Image
Cuộc đời này, người ta gặp nhau, làm quen và kết bạn với nhau thường là bởi họ đang cùng hướng đến một mục tiêu, và cùng đồng hành với nhau trên đoạn đường sắp tới. Thời gian trôi qua, mỗi người một thay đổi. Họ có những mục tiêu mới, khác nhau, nên đoạn đường tiếp theo họ không còn cùng nhau nữa.   Vậy mới nói, cuộc sống là chuỗi ngày hợp tan, vào mỗi một quãng thời gian, ta lại thân quen với những người bạn khác nhau.   Sau này, khi có dịp gặp lại, họ vẫn kể nhau nghe về đoạn đường mới của mình, cũng hay nhắc lại những câu chuyện hồi đó, ngày ấy, và lâu lâu lại được nghe những chuyện xưa đến bây giờ mới được kể.   Đó, chính là một vẻ đẹp của cuộc đời này.  
Read more