Cụm dữ liệu trong Machine Learning

Các cụm dữ liệu

Các cụm là tập hợp dữ liệu dựa trên sự tương đồng.

Các điểm dữ liệu được nhóm lại với nhau trong biểu đồ thường có thể được phân loại thành những cụm.

Trong biểu đồ bên dưới, chúng ta có thể phân biệt 3 cụm khác nhau:

Xác định các cụm dữ liệu

Các cụm có thể chứa rất nhiều thông tin có giá trị, nhưng những cụm có nhiều hình dạng khác nhau, vậy làm thế nào chúng ta có thể nhận ra chúng?

Hai phương pháp chính là:

• Sử dụng trực quan hóa
• Sử dụng thuật toán phân cụm

Phân cụm

Phân cụm là một loại học không giám sát.

Phân cụm nhằm mục đích:

• Thu thập dữ liệu tương tự vào các nhóm
• Thu thập dữ liệu không tương tự vào các nhóm khác

Các phương pháp phân cụm

• Phương pháp mật độ
• Phương pháp phân cấp
• Phương pháp phân vùng
• Phương pháp dựa trên lưới

Phương pháp mật độ xem xét các điểm trong vùng có mật độ cao có nhiều điểm tương đồng và khác biệt hơn so với những điểm trong vùng có mật độ thấp hơn. Phương pháp mật độ có độ chính xác tốt. Nó cũng có khả năng hợp nhất các cụm. Hai thuật toán phổ biến là DBSCAN và OPTICS.

Phương pháp phân cấp tạo thành các cụm theo cấu trúc dạng cây. Các cụm mới được hình thành bằng cách sử dụng những cụm đã được hình thành trước đó. Hai thuật toán phổ biến là CURE và BIRCH.

Phương pháp dựa trên lưới định dạng dữ liệu thành một số hữu hạn các ô tạo thành cấu trúc dạng lưới. Hai thuật toán phổ biến là CLIQUE và STING

Phương pháp phân vùng chia các đối tượng thành k cụm và mỗi phân vùng tạo thành một cụm. Một thuật toán phổ biến là CLARANS.

Hệ số tương quan

Hệ số tương quan (r) mô tả độ mạnh và hướng của mối quan hệ tuyến tính giữa các biến x/y trên biểu đồ phân tán.

Giá trị của r luôn nằm giữa -1 và +1:

Dốc lên hoàn toàn +1.00:

Dốc xuống hoàn toàn -1.00:

Dốc lên mạnh +0.61:

Không có mối quan hệ tuyến tính: