Sin embargo, a pesar de sus \u00e9xitos, las CNNs ten\u00edan una limitaci\u00f3n inherente: su enfoque local y secuencial. Los filtros solo \u201cve\u00edan\u201d una peque\u00f1a porci\u00f3n de la imagen a la vez. Para capturar el contexto global, se requer\u00eda una arquitectura muy profunda, lo que a menudo resultaba en una mayor complejidad computacional y la p\u00e9rdida de informaci\u00f3n de gran escala.<\/p>\n\n\n\n
El Giro del Transformer<\/strong><\/h2>\n\n\n\nEn 2017, la publicaci\u00f3n del paper<\/em> \u201cAttention Is All You Need<\/em><\/a>\u201d por un equipo de Google Brain<\/em><\/strong> cambi\u00f3 para siempre el panorama del Deep Learning<\/em>. Introdujeron el concepto de Transformers<\/em>, una arquitectura revolucionaria basada en el mecanismo de auto-atenci\u00f3n. Originalmente dise\u00f1ados para el procesamiento del lenguaje natural (NLP), los Transformers<\/em> demostraron una capacidad asombrosa para modelar dependencias a largo plazo entre las palabras de una frase.<\/p>\n\n\n\nLa idea era simple pero poderosa: en lugar de procesar la informaci\u00f3n de forma secuencial, un Transformer pod\u00eda \u201catender\u201d a todas las partes de la entrada simult\u00e1neamente, asignando un peso de importancia a cada una de ellas. Esto les permit\u00eda entender el contexto global de una frase de manera mucho m\u00e1s eficiente que los modelos recurrentes (RNNs) o convolucionales.<\/p>\n\n\n\n
\u00bfPor qu\u00e9 ir m\u00e1s all\u00e1 de los CNN?<\/strong><\/h3>\n\n\n\nLas CNN<\/a> capturan patrones locales con kernels, pero tienen limitaciones:<\/p>\n\n\n\n\n- Alcance de contexto fijo y creciente complejidad con capas profundas.<\/li>\n\n\n\n
- Dificultad para modelar relaciones globales en la imagen sin aumentar par\u00e1metros.<\/li>\n\n\n\n
- Rigidez en escalabilidad a diferentes resoluciones y dominios.<\/li>\n<\/ul>\n\n\n\n
El Gran Salto: Vision Transformers (ViT) <\/strong><\/h2>\n\n\n\nLa pregunta era inevitable: \u00bfpodr\u00eda esta arquitectura, tan exitosa en el lenguaje, ser aplicada a las im\u00e1genes? En 2020, un grupo de investigadores de Google lo hizo posible con su paper<\/em> \u201cAn Image is Worth 16×16 Words: Transformers for Image Recognition at Scale<\/em><\/a>\u201d. As\u00ed nacieron los Vision Transformers (ViT)<\/strong>.<\/p>\n\n\n\nLa clave del \u00e9xito de ViT fue tratar una imagen como una secuencia de \u201cparches\u201d o \u201ctokens\u201d. Al igual que una frase se divide en palabras, una imagen se divide en peque\u00f1as sub-im\u00e1genes (por ejemplo, de 16×16 p\u00edxeles). Cada uno de estos parches se aplanaba y se proyectaba a un espacio de incrustaciones de alta dimensi\u00f3n, similar a las incrustaciones de palabras en NLP. A partir de ah\u00ed, se aplicaba el mecanismo de auto-atenci\u00f3n del Transformer, permitiendo que cada parche \u201cviera\u201d y entendiera el contexto de todos los dem\u00e1s parches en la imagen.<\/p>\n\n\n\n
\u00bfPor qu\u00e9 ViT fue tan disruptivo?<\/strong><\/h3>\n\n\n\n\n- Contexto Global:<\/strong> A diferencia de las CNNs, ViT pod\u00eda modelar relaciones de largo alcance desde las primeras capas, sin necesidad de una arquitectura profunda. Esto le permit\u00eda comprender la escena completa y las relaciones entre los objetos de manera m\u00e1s hol\u00edstica. Atenci\u00f3n global desde la primera capa.<\/li>\n\n\n\n
- Escalabilidad:<\/strong> ViT demostr\u00f3 que, con suficientes datos de entrenamiento y una escala adecuada, pod\u00eda superar a los modelos basados en CNNs en tareas de clasificaci\u00f3n de im\u00e1genes. Escalabilidad sencilla, m\u00e1s capas y cabezas mejoran el desempe\u00f1o.<\/li>\n\n\n\n
- Transferencia de Aprendizaje:<\/strong> Al pre-entrenarse en vastos conjuntos de datos como JFT-300M (con m\u00e1s de 300 millones de im\u00e1genes), ViT pod\u00eda aprender representaciones visuales extremadamente ricas y generalizables, que luego pod\u00edan ser transferidas a tareas espec\u00edficas con un fine-tuning<\/em> m\u00ednimo. Flexibilidad para tareas variadas sin modificaciones dr\u00e1sticas al backbone.<\/li>\n<\/ul>\n\n\n\n
![\"\"\/](\"https:\/\/cdn-images-1.medium.com\/max\/800\/1*FCS64bpV49YY5M4SwazYZg.png\")
<\/a><\/figure><\/div>\n\n\nEjemplo: Fine-tuning de ViT con PyTorch<\/em><\/strong><\/h4>\n\n\nimport torch\nfrom torchvision import transforms, datasets\nfrom timm import create_model\nfrom torch import nn, optim\nimport os\n\n# Configuraci\u00f3n<\/span>\ndevice = torch.device('cuda'<\/span> if<\/span> torch.cuda.is_available() else<\/span> 'cpu'<\/span>)\nmodel = create_model('vit_base_patch16_224'<\/span>, pretrained=True<\/span>, num_classes=10<\/span>).to(device)\n\n# Data loaders<\/span>\ntransform = transforms.Compose([\n transforms.Resize((224<\/span>, 224<\/span>)),\n transforms.ToTensor(),\n])\ntrain_ds = datasets.CIFAR10('data'<\/span>, train=True<\/span>, download=True<\/span>, transform=transform)\ntrain_loader = torch.utils.data.DataLoader(train_ds, batch_size=32<\/span>, shuffle=True<\/span>)\n\n# Optimizaci\u00f3n y p\u00e9rdida<\/span>\noptimizer = optim.AdamW(model.parameters(), lr=1e-4<\/span>)\ncriterion = nn.CrossEntropyLoss()\n\n# Entrenamiento<\/span>\nepochs = 5<\/span> # Puedes aumentar si quieres<\/span>\nmodel.train()\nfor<\/span> epoch in range(epochs):\n running_loss = 0.0<\/span>\n for<\/span> batch_idx, (images, labels) in enumerate(train_loader):\n images, labels = images.to(device), labels.to(device)\n\n optimizer.zero_grad()\n outputs = model(images)\n loss = criterion(outputs, labels)\n loss.backward()\n optimizer.step()\n\n running_loss += loss.item()\n \n if<\/span> (batch_idx + 1<\/span>) % 100<\/span> == 0<\/span>:\n print<\/span>(f\"[\u00c9poca {epoch+1}\/{epochs}] Batch {batch_idx+1} - Loss: {loss.item():.4f}\"<\/span>)\n\n print<\/span>(f\"===> Fin de \u00e9poca {epoch+1}, Loss promedio: {running_loss \/ len(train_loader):.4f}\"<\/span>)\n\n# Guardar el modelo entrenado<\/span>\nos.makedirs(\"checkpoints\"<\/span>, exist_ok=True<\/span>)\ntorch.save(model.state_dict(), \"checkpoints\/vit_cifar10.pth\"<\/span>)\nprint<\/span>(\"\u2705 Modelo guardado en 'checkpoints\/vit_cifar10.pth'\"<\/span>)<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n\u00bfQu\u00e9 hace este c\u00f3digo? <\/em>Entrena un modelo ViT (Vision Transformer)<\/strong> para reconocer im\u00e1genes de la base de datos CIFAR-10<\/strong>, que contiene fotos peque\u00f1as (32×32) de: aviones, autos, p\u00e1jaros, gatos, ciervos, perros, ranas, caballos, barcos y camiones. Y al final, guarda el modelo entrenado<\/strong>.<\/p>\n\n\n\nSegment Anything Model (SAM) de Meta<\/strong><\/h2>\n\n\n\nMientras ViT transformaba la clasificaci\u00f3n de im\u00e1genes, otro gigante de la industria, Meta AI, estaba trabajando en una revoluci\u00f3n similar para la segmentaci\u00f3n de im\u00e1genes. El resultado fue el Segment Anything Model (SAM)<\/strong>, una demostraci\u00f3n asombrosa del poder de los prompts<\/em> y el aprendizaje a gran escala.<\/p>\n\n\n\nTradicionalmente, la segmentaci\u00f3n requer\u00eda entrenar modelos para reconocer y delinear clases de objetos espec\u00edficas (perros, gatos, \u00e1rboles, etc.). SAM rompi\u00f3 este paradigma. En lugar de predecir clases, SAM fue dise\u00f1ado para segmentar cualquier objeto en una imagen, bas\u00e1ndose en prompts<\/em> interactivos. Estos prompts<\/em> pod\u00edan ser puntos, recuadros, o incluso descripciones de texto.<\/p>\n\n\n\n\u00bfC\u00f3mo funciona SAM?<\/strong><\/h3>\n\n\n\nSe entrena con un conjunto de datos masivo de m\u00e1s de mil millones de m\u00e1scaras de segmentaci\u00f3n, generadas autom\u00e1ticamente a partir de 11 millones de im\u00e1genes. La arquitectura de SAM consiste en tres componentes principales:<\/p>\n\n\n\n
\n- Image Encoder (Codificador de Imagen):<\/strong> Un Vision Transformer (ViT) pre-entrenado que extrae las caracter\u00edsticas visuales de la imagen.<\/li>\n\n\n\n
- Prompt Encoder (Codificador de Prompt):<\/strong> Un m\u00f3dulo que procesa los prompts<\/em> de entrada, ya sean puntos, cajas o texto.<\/li>\n\n\n\n
- Mask Decoder (Decodificador de M\u00e1scara):<\/strong> Un m\u00f3dulo que, bas\u00e1ndose en las caracter\u00edsticas de la imagen y las incrustaciones del prompt<\/em>, genera din\u00e1micamente la m\u00e1scara de segmentaci\u00f3n del objeto deseado.<\/li>\n<\/ul>\n\n\n\n
Casos de uso de SAM<\/strong><\/h3>\n\n\n\n\n- Segmentaci\u00f3n interactiva en edici\u00f3n de im\u00e1genes.<\/li>\n\n\n\n
- An\u00e1lisis r\u00e1pido en medicina, industria y rob\u00f3tica.<\/li>\n\n\n\n
- Preprocesamiento para entrenar modelos especializados.<\/li>\n<\/ul>\n\n\n\n
El impacto de SAM es inmenso. Al separar la tarea de segmentaci\u00f3n de la necesidad de reconocer clases predefinidas, SAM democratiza la segmentaci\u00f3n. Ahora, un solo modelo puede ser utilizado para una infinidad de tareas, desde el an\u00e1lisis m\u00e9dico hasta la creaci\u00f3n de contenido digital, simplemente proporcionando un prompt<\/em> interactivo.<\/p>\n\n\n
La idea era simple pero poderosa: en lugar de procesar la informaci\u00f3n de forma secuencial, un Transformer pod\u00eda \u201catender\u201d a todas las partes de la entrada simult\u00e1neamente, asignando un peso de importancia a cada una de ellas. Esto les permit\u00eda entender el contexto global de una frase de manera mucho m\u00e1s eficiente que los modelos recurrentes (RNNs) o convolucionales.<\/p>\n\n\n\n
\u00bfPor qu\u00e9 ir m\u00e1s all\u00e1 de los CNN?<\/strong><\/h3>\n\n\n\nLas CNN<\/a> capturan patrones locales con kernels, pero tienen limitaciones:<\/p>\n\n\n\n\n- Alcance de contexto fijo y creciente complejidad con capas profundas.<\/li>\n\n\n\n
- Dificultad para modelar relaciones globales en la imagen sin aumentar par\u00e1metros.<\/li>\n\n\n\n
- Rigidez en escalabilidad a diferentes resoluciones y dominios.<\/li>\n<\/ul>\n\n\n\n
El Gran Salto: Vision Transformers (ViT) <\/strong><\/h2>\n\n\n\nLa pregunta era inevitable: \u00bfpodr\u00eda esta arquitectura, tan exitosa en el lenguaje, ser aplicada a las im\u00e1genes? En 2020, un grupo de investigadores de Google lo hizo posible con su paper<\/em> \u201cAn Image is Worth 16×16 Words: Transformers for Image Recognition at Scale<\/em><\/a>\u201d. As\u00ed nacieron los Vision Transformers (ViT)<\/strong>.<\/p>\n\n\n\nLa clave del \u00e9xito de ViT fue tratar una imagen como una secuencia de \u201cparches\u201d o \u201ctokens\u201d. Al igual que una frase se divide en palabras, una imagen se divide en peque\u00f1as sub-im\u00e1genes (por ejemplo, de 16×16 p\u00edxeles). Cada uno de estos parches se aplanaba y se proyectaba a un espacio de incrustaciones de alta dimensi\u00f3n, similar a las incrustaciones de palabras en NLP. A partir de ah\u00ed, se aplicaba el mecanismo de auto-atenci\u00f3n del Transformer, permitiendo que cada parche \u201cviera\u201d y entendiera el contexto de todos los dem\u00e1s parches en la imagen.<\/p>\n\n\n\n
\u00bfPor qu\u00e9 ViT fue tan disruptivo?<\/strong><\/h3>\n\n\n\n\n- Contexto Global:<\/strong> A diferencia de las CNNs, ViT pod\u00eda modelar relaciones de largo alcance desde las primeras capas, sin necesidad de una arquitectura profunda. Esto le permit\u00eda comprender la escena completa y las relaciones entre los objetos de manera m\u00e1s hol\u00edstica. Atenci\u00f3n global desde la primera capa.<\/li>\n\n\n\n
- Escalabilidad:<\/strong> ViT demostr\u00f3 que, con suficientes datos de entrenamiento y una escala adecuada, pod\u00eda superar a los modelos basados en CNNs en tareas de clasificaci\u00f3n de im\u00e1genes. Escalabilidad sencilla, m\u00e1s capas y cabezas mejoran el desempe\u00f1o.<\/li>\n\n\n\n
- Transferencia de Aprendizaje:<\/strong> Al pre-entrenarse en vastos conjuntos de datos como JFT-300M (con m\u00e1s de 300 millones de im\u00e1genes), ViT pod\u00eda aprender representaciones visuales extremadamente ricas y generalizables, que luego pod\u00edan ser transferidas a tareas espec\u00edficas con un fine-tuning<\/em> m\u00ednimo. Flexibilidad para tareas variadas sin modificaciones dr\u00e1sticas al backbone.<\/li>\n<\/ul>\n\n\n\n
<\/a><\/figure><\/div>\n\n\nEjemplo: Fine-tuning de ViT con PyTorch<\/em><\/strong><\/h4>\n\n\nimport torch\nfrom torchvision import transforms, datasets\nfrom timm import create_model\nfrom torch import nn, optim\nimport os\n\n# Configuraci\u00f3n<\/span>\ndevice = torch.device('cuda'<\/span> if<\/span> torch.cuda.is_available() else<\/span> 'cpu'<\/span>)\nmodel = create_model('vit_base_patch16_224'<\/span>, pretrained=True<\/span>, num_classes=10<\/span>).to(device)\n\n# Data loaders<\/span>\ntransform = transforms.Compose([\n transforms.Resize((224<\/span>, 224<\/span>)),\n transforms.ToTensor(),\n])\ntrain_ds = datasets.CIFAR10('data'<\/span>, train=True<\/span>, download=True<\/span>, transform=transform)\ntrain_loader = torch.utils.data.DataLoader(train_ds, batch_size=32<\/span>, shuffle=True<\/span>)\n\n# Optimizaci\u00f3n y p\u00e9rdida<\/span>\noptimizer = optim.AdamW(model.parameters(), lr=1e-4<\/span>)\ncriterion = nn.CrossEntropyLoss()\n\n# Entrenamiento<\/span>\nepochs = 5<\/span> # Puedes aumentar si quieres<\/span>\nmodel.train()\nfor<\/span> epoch in range(epochs):\n running_loss = 0.0<\/span>\n for<\/span> batch_idx, (images, labels) in enumerate(train_loader):\n images, labels = images.to(device), labels.to(device)\n\n optimizer.zero_grad()\n outputs = model(images)\n loss = criterion(outputs, labels)\n loss.backward()\n optimizer.step()\n\n running_loss += loss.item()\n \n if<\/span> (batch_idx + 1<\/span>) % 100<\/span> == 0<\/span>:\n print<\/span>(f\"[\u00c9poca {epoch+1}\/{epochs}] Batch {batch_idx+1} - Loss: {loss.item():.4f}\"<\/span>)\n\n print<\/span>(f\"===> Fin de \u00e9poca {epoch+1}, Loss promedio: {running_loss \/ len(train_loader):.4f}\"<\/span>)\n\n# Guardar el modelo entrenado<\/span>\nos.makedirs(\"checkpoints\"<\/span>, exist_ok=True<\/span>)\ntorch.save(model.state_dict(), \"checkpoints\/vit_cifar10.pth\"<\/span>)\nprint<\/span>(\"\u2705 Modelo guardado en 'checkpoints\/vit_cifar10.pth'\"<\/span>)<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n\u00bfQu\u00e9 hace este c\u00f3digo? <\/em>Entrena un modelo ViT (Vision Transformer)<\/strong> para reconocer im\u00e1genes de la base de datos CIFAR-10<\/strong>, que contiene fotos peque\u00f1as (32×32) de: aviones, autos, p\u00e1jaros, gatos, ciervos, perros, ranas, caballos, barcos y camiones. Y al final, guarda el modelo entrenado<\/strong>.<\/p>\n\n\n\nSegment Anything Model (SAM) de Meta<\/strong><\/h2>\n\n\n\nMientras ViT transformaba la clasificaci\u00f3n de im\u00e1genes, otro gigante de la industria, Meta AI, estaba trabajando en una revoluci\u00f3n similar para la segmentaci\u00f3n de im\u00e1genes. El resultado fue el Segment Anything Model (SAM)<\/strong>, una demostraci\u00f3n asombrosa del poder de los prompts<\/em> y el aprendizaje a gran escala.<\/p>\n\n\n\nTradicionalmente, la segmentaci\u00f3n requer\u00eda entrenar modelos para reconocer y delinear clases de objetos espec\u00edficas (perros, gatos, \u00e1rboles, etc.). SAM rompi\u00f3 este paradigma. En lugar de predecir clases, SAM fue dise\u00f1ado para segmentar cualquier objeto en una imagen, bas\u00e1ndose en prompts<\/em> interactivos. Estos prompts<\/em> pod\u00edan ser puntos, recuadros, o incluso descripciones de texto.<\/p>\n\n\n\n\u00bfC\u00f3mo funciona SAM?<\/strong><\/h3>\n\n\n\nSe entrena con un conjunto de datos masivo de m\u00e1s de mil millones de m\u00e1scaras de segmentaci\u00f3n, generadas autom\u00e1ticamente a partir de 11 millones de im\u00e1genes. La arquitectura de SAM consiste en tres componentes principales:<\/p>\n\n\n\n
\n- Image Encoder (Codificador de Imagen):<\/strong> Un Vision Transformer (ViT) pre-entrenado que extrae las caracter\u00edsticas visuales de la imagen.<\/li>\n\n\n\n
- Prompt Encoder (Codificador de Prompt):<\/strong> Un m\u00f3dulo que procesa los prompts<\/em> de entrada, ya sean puntos, cajas o texto.<\/li>\n\n\n\n
- Mask Decoder (Decodificador de M\u00e1scara):<\/strong> Un m\u00f3dulo que, bas\u00e1ndose en las caracter\u00edsticas de la imagen y las incrustaciones del prompt<\/em>, genera din\u00e1micamente la m\u00e1scara de segmentaci\u00f3n del objeto deseado.<\/li>\n<\/ul>\n\n\n\n
Casos de uso de SAM<\/strong><\/h3>\n\n\n\n\n- Segmentaci\u00f3n interactiva en edici\u00f3n de im\u00e1genes.<\/li>\n\n\n\n
- An\u00e1lisis r\u00e1pido en medicina, industria y rob\u00f3tica.<\/li>\n\n\n\n
- Preprocesamiento para entrenar modelos especializados.<\/li>\n<\/ul>\n\n\n\n
El impacto de SAM es inmenso. Al separar la tarea de segmentaci\u00f3n de la necesidad de reconocer clases predefinidas, SAM democratiza la segmentaci\u00f3n. Ahora, un solo modelo puede ser utilizado para una infinidad de tareas, desde el an\u00e1lisis m\u00e9dico hasta la creaci\u00f3n de contenido digital, simplemente proporcionando un prompt<\/em> interactivo.<\/p>\n\n\n
- \n
- Alcance de contexto fijo y creciente complejidad con capas profundas.<\/li>\n\n\n\n
- Dificultad para modelar relaciones globales en la imagen sin aumentar par\u00e1metros.<\/li>\n\n\n\n
- Rigidez en escalabilidad a diferentes resoluciones y dominios.<\/li>\n<\/ul>\n\n\n\n
El Gran Salto: Vision Transformers (ViT) <\/strong><\/h2>\n\n\n\n
La pregunta era inevitable: \u00bfpodr\u00eda esta arquitectura, tan exitosa en el lenguaje, ser aplicada a las im\u00e1genes? En 2020, un grupo de investigadores de Google lo hizo posible con su paper<\/em> \u201cAn Image is Worth 16×16 Words: Transformers for Image Recognition at Scale<\/em><\/a>\u201d. As\u00ed nacieron los Vision Transformers (ViT)<\/strong>.<\/p>\n\n\n\n
La clave del \u00e9xito de ViT fue tratar una imagen como una secuencia de \u201cparches\u201d o \u201ctokens\u201d. Al igual que una frase se divide en palabras, una imagen se divide en peque\u00f1as sub-im\u00e1genes (por ejemplo, de 16×16 p\u00edxeles). Cada uno de estos parches se aplanaba y se proyectaba a un espacio de incrustaciones de alta dimensi\u00f3n, similar a las incrustaciones de palabras en NLP. A partir de ah\u00ed, se aplicaba el mecanismo de auto-atenci\u00f3n del Transformer, permitiendo que cada parche \u201cviera\u201d y entendiera el contexto de todos los dem\u00e1s parches en la imagen.<\/p>\n\n\n\n
\u00bfPor qu\u00e9 ViT fue tan disruptivo?<\/strong><\/h3>\n\n\n\n
- \n
- Contexto Global:<\/strong> A diferencia de las CNNs, ViT pod\u00eda modelar relaciones de largo alcance desde las primeras capas, sin necesidad de una arquitectura profunda. Esto le permit\u00eda comprender la escena completa y las relaciones entre los objetos de manera m\u00e1s hol\u00edstica. Atenci\u00f3n global desde la primera capa.<\/li>\n\n\n\n
- Escalabilidad:<\/strong> ViT demostr\u00f3 que, con suficientes datos de entrenamiento y una escala adecuada, pod\u00eda superar a los modelos basados en CNNs en tareas de clasificaci\u00f3n de im\u00e1genes. Escalabilidad sencilla, m\u00e1s capas y cabezas mejoran el desempe\u00f1o.<\/li>\n\n\n\n
- Transferencia de Aprendizaje:<\/strong> Al pre-entrenarse en vastos conjuntos de datos como JFT-300M (con m\u00e1s de 300 millones de im\u00e1genes), ViT pod\u00eda aprender representaciones visuales extremadamente ricas y generalizables, que luego pod\u00edan ser transferidas a tareas espec\u00edficas con un fine-tuning<\/em> m\u00ednimo. Flexibilidad para tareas variadas sin modificaciones dr\u00e1sticas al backbone.<\/li>\n<\/ul>\n\n\n
\n<\/a><\/figure><\/div>\n\n\nEjemplo: Fine-tuning de ViT con PyTorch<\/em><\/strong><\/h4>\n\n\n
import torch\nfrom torchvision import transforms, datasets\nfrom timm import create_model\nfrom torch import nn, optim\nimport os\n\n# Configuraci\u00f3n<\/span>\ndevice = torch.device('cuda'<\/span> if<\/span> torch.cuda.is_available() else<\/span> 'cpu'<\/span>)\nmodel = create_model('vit_base_patch16_224'<\/span>, pretrained=True<\/span>, num_classes=10<\/span>).to(device)\n\n# Data loaders<\/span>\ntransform = transforms.Compose([\n transforms.Resize((224<\/span>, 224<\/span>)),\n transforms.ToTensor(),\n])\ntrain_ds = datasets.CIFAR10('data'<\/span>, train=True<\/span>, download=True<\/span>, transform=transform)\ntrain_loader = torch.utils.data.DataLoader(train_ds, batch_size=32<\/span>, shuffle=True<\/span>)\n\n# Optimizaci\u00f3n y p\u00e9rdida<\/span>\noptimizer = optim.AdamW(model.parameters(), lr=1e-4<\/span>)\ncriterion = nn.CrossEntropyLoss()\n\n# Entrenamiento<\/span>\nepochs = 5<\/span> # Puedes aumentar si quieres<\/span>\nmodel.train()\nfor<\/span> epoch in range(epochs):\n running_loss = 0.0<\/span>\n for<\/span> batch_idx, (images, labels) in enumerate(train_loader):\n images, labels = images.to(device), labels.to(device)\n\n optimizer.zero_grad()\n outputs = model(images)\n loss = criterion(outputs, labels)\n loss.backward()\n optimizer.step()\n\n running_loss += loss.item()\n \n if<\/span> (batch_idx + 1<\/span>) % 100<\/span> == 0<\/span>:\n print<\/span>(f\"[\u00c9poca {epoch+1}\/{epochs}] Batch {batch_idx+1} - Loss: {loss.item():.4f}\"<\/span>)\n\n print<\/span>(f\"===> Fin de \u00e9poca {epoch+1}, Loss promedio: {running_loss \/ len(train_loader):.4f}\"<\/span>)\n\n# Guardar el modelo entrenado<\/span>\nos.makedirs(\"checkpoints\"<\/span>, exist_ok=True<\/span>)\ntorch.save(model.state_dict(), \"checkpoints\/vit_cifar10.pth\"<\/span>)\nprint<\/span>(\"\u2705 Modelo guardado en 'checkpoints\/vit_cifar10.pth'\"<\/span>)<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n\u00bfQu\u00e9 hace este c\u00f3digo? <\/em>Entrena un modelo ViT (Vision Transformer)<\/strong> para reconocer im\u00e1genes de la base de datos CIFAR-10<\/strong>, que contiene fotos peque\u00f1as (32×32) de: aviones, autos, p\u00e1jaros, gatos, ciervos, perros, ranas, caballos, barcos y camiones. Y al final, guarda el modelo entrenado<\/strong>.<\/p>\n\n\n\n
Segment Anything Model (SAM) de Meta<\/strong><\/h2>\n\n\n\n
Mientras ViT transformaba la clasificaci\u00f3n de im\u00e1genes, otro gigante de la industria, Meta AI, estaba trabajando en una revoluci\u00f3n similar para la segmentaci\u00f3n de im\u00e1genes. El resultado fue el Segment Anything Model (SAM)<\/strong>, una demostraci\u00f3n asombrosa del poder de los prompts<\/em> y el aprendizaje a gran escala.<\/p>\n\n\n\n
Tradicionalmente, la segmentaci\u00f3n requer\u00eda entrenar modelos para reconocer y delinear clases de objetos espec\u00edficas (perros, gatos, \u00e1rboles, etc.). SAM rompi\u00f3 este paradigma. En lugar de predecir clases, SAM fue dise\u00f1ado para segmentar cualquier objeto en una imagen, bas\u00e1ndose en prompts<\/em> interactivos. Estos prompts<\/em> pod\u00edan ser puntos, recuadros, o incluso descripciones de texto.<\/p>\n\n\n\n
\u00bfC\u00f3mo funciona SAM?<\/strong><\/h3>\n\n\n\n
Se entrena con un conjunto de datos masivo de m\u00e1s de mil millones de m\u00e1scaras de segmentaci\u00f3n, generadas autom\u00e1ticamente a partir de 11 millones de im\u00e1genes. La arquitectura de SAM consiste en tres componentes principales:<\/p>\n\n\n\n
- \n
- Image Encoder (Codificador de Imagen):<\/strong> Un Vision Transformer (ViT) pre-entrenado que extrae las caracter\u00edsticas visuales de la imagen.<\/li>\n\n\n\n
- Prompt Encoder (Codificador de Prompt):<\/strong> Un m\u00f3dulo que procesa los prompts<\/em> de entrada, ya sean puntos, cajas o texto.<\/li>\n\n\n\n
- Mask Decoder (Decodificador de M\u00e1scara):<\/strong> Un m\u00f3dulo que, bas\u00e1ndose en las caracter\u00edsticas de la imagen y las incrustaciones del prompt<\/em>, genera din\u00e1micamente la m\u00e1scara de segmentaci\u00f3n del objeto deseado.<\/li>\n<\/ul>\n\n\n\n
Casos de uso de SAM<\/strong><\/h3>\n\n\n\n
- \n
- Segmentaci\u00f3n interactiva en edici\u00f3n de im\u00e1genes.<\/li>\n\n\n\n
- An\u00e1lisis r\u00e1pido en medicina, industria y rob\u00f3tica.<\/li>\n\n\n\n
- Preprocesamiento para entrenar modelos especializados.<\/li>\n<\/ul>\n\n\n\n
El impacto de SAM es inmenso. Al separar la tarea de segmentaci\u00f3n de la necesidad de reconocer clases predefinidas, SAM democratiza la segmentaci\u00f3n. Ahora, un solo modelo puede ser utilizado para una infinidad de tareas, desde el an\u00e1lisis m\u00e9dico hasta la creaci\u00f3n de contenido digital, simplemente proporcionando un prompt<\/em> interactivo.<\/p>\n\n\n
- Prompt Encoder (Codificador de Prompt):<\/strong> Un m\u00f3dulo que procesa los prompts<\/em> de entrada, ya sean puntos, cajas o texto.<\/li>\n\n\n\n
- Escalabilidad:<\/strong> ViT demostr\u00f3 que, con suficientes datos de entrenamiento y una escala adecuada, pod\u00eda superar a los modelos basados en CNNs en tareas de clasificaci\u00f3n de im\u00e1genes. Escalabilidad sencilla, m\u00e1s capas y cabezas mejoran el desempe\u00f1o.<\/li>\n\n\n\n
- Contexto Global:<\/strong> A diferencia de las CNNs, ViT pod\u00eda modelar relaciones de largo alcance desde las primeras capas, sin necesidad de una arquitectura profunda. Esto le permit\u00eda comprender la escena completa y las relaciones entre los objetos de manera m\u00e1s hol\u00edstica. Atenci\u00f3n global desde la primera capa.<\/li>\n\n\n\n
![\"\"\/](\"https:\/\/cdn-images-1.medium.com\/max\/800\/1*mgt4GzoPfG80Wsh1uIhWZg.png\")
<\/a><\/figure><\/div>\n\n\n