Questo articolo \u00e8 un’introduzione all’analisi dei gruppi per trovare informazioni significative nei dati.<\/p>\n\n\n\t\t\t\t
- Introduzione all\u2019analisi per cluster<\/a>
- Un'introduzione ai popolari algoritmi in Python<\/a>
- K-Means clustering<\/a>
- Hierarchical clustering<\/a><\/li><\/ul><\/li>
- Conclusioni<\/a><\/ul><\/ol>\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\n\n\n
Introduzione all\u2019analisi per cluster<\/h2>\n\n\n\n
E’ una tecnica di esplorazione dei dati<\/a> – spesso chiamata tecnica di pattern discovery – che ci consente di organizzare i dati in sottoinsiemi significativi – chiamati clusters – senza avere conoscenza preventiva dell’appartenenza dei dati a gruppi specifici.<\/p>\n\n\n\n
Dal punto di vista pratico, alimentiamo un modello di machine learning con i dati che abbiamo e esso sar\u00e0 in grado di individuare le connessioni significative tra i dati, consentendo la suddivisione in sottogruppi.<\/p>\n\n\n\n
Ecco come una tecnica mostrerebbe i cluster su un dato insieme di dati:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/1-clusters.png\")
Un set di dati diviso in cluster. Immagine dell\u2019Autore.<\/em><\/figcaption><\/figure>\n\n\n\n L’immagine sopra mostra che l’algoritmo ha individuato tre cluster nell’insieme di dati fornito e li rappresenta con colori differenti.<\/p>\n\n\n\n
Quindi, ciascun cluster che emerge durante l’analisi definisce un gruppo di oggetti che condividono un certo grado di somiglianza. Questi oggetti sono anche dissimili dagli oggetti presenti negli altri cluster, ed \u00e8 per questo che si tratta di un processo non supervisionato.<\/p>\n\n\n\n
Pertanto, l’analisi \u00e8 un\u2019ottima metodologia per strutturare le informazioni e significative presenti nei dati.<\/p>\n\n\n\n
In particolare, pu\u00f2 essere utilizzata con una moltitudine di obiettivi in mente. Ad esempio, pu\u00f2 essere utilizzata dai marketer per scoprire gruppi di clienti basati sui loro interessi.<\/p>\n\n\n\n
Oppure, pu\u00f2 anche essere utilizzata dai data scientists per definire le labels di un dataset da utilizzare per fare predizioni. In altre parole, ci sono casi in cui le labels non sono chiare o sono sconosciute e possiamo utilizzarlo per definirle.<\/p>\n\n\n\n
Le tecniche di analisi dei gruppi tipiche sono:<\/p>\n\n\n\n
- \n
- K-means.<\/li>\n\n\n\n
- Hierarchical.<\/li>\n\n\n\n
- DBSCAN.<\/li>\n<\/ul>\n\n\n\n
Questo articolo si concentra sui primi due.<\/p>\n\n\n\n
\n\n\n\nLettura consigliata: Come sviluppare il tuo Chatbot con Python e ChatterBot partendo da zero<\/a><\/em><\/strong><\/p>\n\n\n\n
\n\n\n\nUn’introduzione ai popolari algoritmi in Python<\/h2>\n\n\n\n
In questa sezione, descriveremo come funzionano il k-mean e lo hierarchical. Implementeremo anche esempi in Python<\/a> per mostrare come usarli.<\/p>\n\n\n\n
K-Means clustering<\/h3>\n\n\n\n
L’algoritmoin questione appartiene a una categoria chiamata basata su prototipi<\/strong>.<\/p>\n\n\n\n
In questa categoria, un cluster \u00e8 rappresentato come un prototipo, che di solito \u00e8 il centroide (la media) dei punti simili nel caso di caratteristiche continue, o il medoide (il pi\u00f9 rappresentativo o il punto che minimizza la distanza da tutti gli altri punti che appartengono a un cluster specifico) nel caso di caratteristiche categoriche.<\/p>\n\n\n\n
L’algoritmo \u00e8 molto efficace nell’identificare clusters con una forma sferica, ma uno dei suoi svantaggi \u00e8 che dobbiamo specificare il numero di cluster, k<\/em>, in anticipo.<\/p>\n\n\n\n
Una non corretta di k<\/em> pu\u00f2 portare a una scarsa performance dell’analisi dei gruppi , ma esistono metodi per valutare la qualit\u00e0 di un cluster che ci aiutano a determinare il numero ottimale di cluster, k<\/em>.<\/p>\n\n\n\n
Quando ci riferiamo alla “forma sferica” di un cluster, intendiamo che i punti dati all’interno di un cluster sono distribuiti in modo simile a una sfera tridimensionale (o a un cerchio bidimensionale). In altre parole, i punti nel cluster sono strettamente raggruppati intorno a un punto centrale, e le distanze da questo punto centrale ai punti dati sono approssimativamente uguali in tutte le direzioni.<\/p>\n\n\n\n
Ecco come appare una distribuzione dei dati sferica e non sferica in due dimensioni:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/2-spherical-non-spherical-clusters.png\")
Distribuzione dei dati sferica e non sferica. Immagine dell’autore.<\/em><\/figcaption><\/figure>\n\n\n\n L\u2019immagine sopra mostra che:<\/p>\n\n\n\n
- \n
- I punti blu sono, in qualche modo, distribuiti con distanze speculari rispetto al centro della distribuzione (il centroide). Questo pu\u00f2 rappresentare un cluster sferico.<\/li>\n\n\n\n
- I punti rossi non sono distribuiti con distanze speculari rispetto al centro della distribuzione (il centroide). Questo pu\u00f2 rappresentare un cluster non sferico.<\/li>\n<\/ul>\n\n\n\n
Ora vogliamo estendere il concetto legato alla distanza. L’esempio sopra mostra solo un cluster allo scopo di visualizzare una distribuzione sferica e una non sferica.<\/p>\n\n\n\n
Creiamo quindi un dataset composto da 150 punti generati casualmente raggruppati in tre sottogruppi. Possiamo usare il seguente codice per farlo:<\/p>\n\n\n
from sklearn.datasets import make_blobs\nimport matplotlib.pyplot as<\/span> plt\n\n# Create 3 clusters with 150 randomly generated data points and 2 features<\/span>\nX,y = make_blobs(n_samples=150<\/span>, n_features=2<\/span>, centers=3<\/span>, cluster_std=0.5<\/span>, shuffle=True<\/span>, random_state=0<\/span>)\n\n# Plot the points as a scatterplot<\/span>\nplt.scatter(X[:,0<\/span>], X[:, 1<\/span>], c=\"white\"<\/span>, marker=\"o\"<\/span>, edgecolor=\"black\"<\/span>, s=50<\/span>)\n\n# Write labels, show grid and plot<\/span>\nplt.xlabel(\"Feature 1\"<\/span>)\nplt.ylabel(\"Feature 2\"<\/span>)\nplt.grid()\nplt.tight_layout()\nplt.show()<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\nOtteniamo:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/3-randomly-generated-data-for-3-clusters.png\")
Una distribuzione dati a tre cluster. Immagine dell’autore.<\/em><\/figcaption><\/figure>\n\n\n\n Ora, nelle applicazioni reali, non sappiamo in quanti cluster possono essere suddivisi i dati, che \u00e8 il valore k che dobbiamo trovare, come abbiamo detto prima. Per fare ci\u00f2, possiamo seguire questi passaggi:<\/p>\n\n\n\n
- \n
- Scegli k<\/em> centroidi casuali dagli esempi come centri iniziali del cluster.<\/li>\n\n\n\n
- Assegna ogni esempio al centroide pi\u00f9 vicino \ud835\udf07(i)<\/sup>,j \u220a [1,…,k]<\/li>\n\n\n\n
- Sposta i centroidi al centro degli esempi che gli sono stati assegnati.<\/li>\n\n\n\n
- Ripeti i passaggi 2 e 3 finch\u00e9 le assegnazioni dei cluster non cambiano o non viene raggiunta una tolleranza definita dall’utente o un numero massimo di iterazioni.<\/li>\n<\/ol>\n\n\n\n
Ora, come misuriamo la similarit\u00e0 tra oggetti?<\/p>\n\n\n\n
Se stessimo valutando i colori di alcune auto, ad esempio, l’occhio umano potrebbe dire che un’auto arancione sia simile ad una rossa. Ma come possiamo definire la similarit\u00e0 in matematica?<\/p>\n\n\n\n
Possiamo definire la similarit\u00e0 come l’opposto della distanza. Una metrica di distanza, infatti, quantifica la dissimilarit\u00e0 o la distanza tra due punti dati. Pi\u00f9 \u00e8 piccola la distanza tra due punti, pi\u00f9 questi sono simili. Pi\u00f9 \u00e8 grande la distanza, meno sono simili.<\/p>\n\n\n\n
Quindi, in questo senso, “similarit\u00e0” e “distanza” sono inversamente correlati: una distanza pi\u00f9 piccola implica una maggiore similarit\u00e0, mentre una distanza pi\u00f9 grande implica una minore similarit\u00e0.<\/p>\n\n\n\n
Una distanza comunemente utilizzata nell’analisi dei gruppi con feature continue \u00e8 la distanza Euclidea al quadrato tra due punti, x e y:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/4-Euclidean-distance-formula.png\")
La formula della distanza Euclidea. Immagine dell\u2019autore.<\/em><\/figcaption><\/figure>\n\n\n\n Quindi, sulla base di questa metrica, pu\u00f2 essere descritto come un problema di ottimizzazione: \u00e8 un algoritmo iterativo che minimizza la somma degli errori quadratici all\u2019interno di un cluster.<\/p>\n\n\n\n
Per semplicit\u00e0, non andiamo oltre con la matematica in questo articolo. <\/p>\n\n\n\n
Proseguiamo implementando un algoritmo in Python:<\/p>\n\n\n
import numpy as<\/span> np\nimport matplotlib.pyplot as<\/span> plt\nfrom sklearn.datasets import make_classification\nfrom sklearn.cluster import KMeans\n\n# Generate data<\/span>\nX, y = make_classification(n_samples=1000<\/span>, n_features=20<\/span>, random_state=42<\/span>)\n\n# Create a K-Means clustering model<\/span>\nkmeans = KMeans(n_clusters=3<\/span>, random_state=42<\/span>)\n\n# Fit the model to your data<\/span>\ncluster_labels = kmeans.fit_predict(X)\n\n# Create a scatter plot for the first two features<\/span>\nplt.figure(figsize=(8<\/span>, 6<\/span>))\nplt.scatter(X[:, 0<\/span>], X[:, 1<\/span>], c=cluster_labels, cmap='viridis'<\/span>)\nplt.xlabel('Feature 1'<\/span>)\nplt.ylabel('Feature 2'<\/span>)\nplt.title('Data with Clusters'<\/span>)\nplt.colorbar(label='Cluster'<\/span>)\nplt.show()<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n - Assegna ogni esempio al centroide pi\u00f9 vicino \ud835\udf07(i)<\/sup>,j \u220a [1,…,k]<\/li>\n\n\n\n
- Scegli k<\/em> centroidi casuali dagli esempi come centri iniziali del cluster.<\/li>\n\n\n\n
- Hierarchical clustering<\/a><\/li><\/ul><\/li>
- Un'introduzione ai popolari algoritmi in Python<\/a>
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/5-agglomerative-hierachicahl-clustering.png\")
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/6-the-dendrogram.png\")
![\"\"](\"https:\/\/www.codemotion.com\/magazine\/wp-content\/uploads\/2023\/09\/7-agglomerative-cluster-with-three-clusters.png\")