SMOTE-BD : an exact and scalable oversampling method for imbalanced classification in big data

Detalles Bibliográficos
Autor Principal: Basgall, María José
Otros autores o Colaboradores: Hasperué, Waldo, Naiouf, Ricardo Marcelo, Fernández, Alberto, Herrera, Francisco
Formato: Capítulo de libro
Lengua:inglés
Temas:
Acceso en línea:http://sedici.unlp.edu.ar/handle/10915/69464
Consultar en el Cátalogo
Resumen:El volumen de datos en las aplicaciones de hoy en día ha significado un cambio en la forma de abordar los problemas de Machine Learning. De hecho, el escenario Big Data implica restricciones de escalabilidad que sólo se pueden lograr a través del diseño de modelos inteligentes y el uso de tecnologías distribuidas. En este contexto, las soluciones basadas en la plataforma Spark se han establecido como un estándar de facto. En esta contribución, nos centramos en un marco muy importante dentro de Big Data Analytics, a saber, la clasificación con conjuntos de datos desequilibrados. La principal característica de este problema es que una de las clases está sub-representada y, por lo tanto, generalmente es más complejo encontrar un modelo que la identifique correctamente. Por esta razón, es común aplicar técnicas de preprocesamiento como el sobremuestreo, para equilibrar la distribución de ejemplos en las clases. En este trabajo presentamos SMOTE-BD, un enfoque de preprocesamiento totalmente escalable para la clasificación no balanceada en Big Data. El mismo se basa en una de las soluciones de preprocesamiento más extendidas para la clasificación desequilibrada, a saber, el algoritmo SMOTE, el cual crea nuevas instancias sintéticas de acuerdo con la vecindad de cada ejemplo de la clase minoritaria. Nuestro novedoso desarrollo está hecho para ser independiente de la cantidad de particiones o procesos creados, para lograr un mayor grado de eficiencia. Los experimentos realizados en diferentes conjuntos de datos estándar y de Big Data muestran la calidad del diseño y la implementación propuestos.
Notas:Formato de archivo PDF. -- Este documento es producción intelectual de la Facultad de Informática - UNLP (Colección BIPA/Biblioteca)
Descripción Física:1 archivo (861,3 kB)

MARC

LEADER 00000naa a2200000 a 4500
003 AR-LpUFIB
005 20250311170511.0
008 230201s2018 xx o 000 0 eng d
024 8 |a DIF-M8328  |b 8548  |z DIF007621 
040 |a AR-LpUFIB  |b spa  |c AR-LpUFIB 
100 1 |a Basgall, María José 
245 1 0 |a SMOTE-BD :  |b an exact and scalable oversampling method for imbalanced classification in big data 
300 |a 1 archivo (861,3 kB) 
500 |a Formato de archivo PDF. -- Este documento es producción intelectual de la Facultad de Informática - UNLP (Colección BIPA/Biblioteca) 
520 |a El volumen de datos en las aplicaciones de hoy en día ha significado un cambio en la forma de abordar los problemas de Machine Learning. De hecho, el escenario Big Data implica restricciones de escalabilidad que sólo se pueden lograr a través del diseño de modelos inteligentes y el uso de tecnologías distribuidas. En este contexto, las soluciones basadas en la plataforma Spark se han establecido como un estándar de facto. En esta contribución, nos centramos en un marco muy importante dentro de Big Data Analytics, a saber, la clasificación con conjuntos de datos desequilibrados. La principal característica de este problema es que una de las clases está sub-representada y, por lo tanto, generalmente es más complejo encontrar un modelo que la identifique correctamente. Por esta razón, es común aplicar técnicas de preprocesamiento como el sobremuestreo, para equilibrar la distribución de ejemplos en las clases. En este trabajo presentamos SMOTE-BD, un enfoque de preprocesamiento totalmente escalable para la clasificación no balanceada en Big Data. El mismo se basa en una de las soluciones de preprocesamiento más extendidas para la clasificación desequilibrada, a saber, el algoritmo SMOTE, el cual crea nuevas instancias sintéticas de acuerdo con la vecindad de cada ejemplo de la clase minoritaria. Nuestro novedoso desarrollo está hecho para ser independiente de la cantidad de particiones o procesos creados, para lograr un mayor grado de eficiencia. Los experimentos realizados en diferentes conjuntos de datos estándar y de Big Data muestran la calidad del diseño y la implementación propuestos. 
534 |a Conference Cloud Computing and Big Data (7ª : 2019 : La Plata, Argentina)  
650 4 |a BIG DATA 
650 4 |a APRENDIZAJE AUTOMÁTICO 
653 |a clasificación no balanceada 
700 1 |a Hasperué, Waldo 
700 1 |a Naiouf, Ricardo Marcelo 
700 1 |a Fernández, Alberto 
700 1 |a Herrera, Francisco 
856 4 0 |u http://sedici.unlp.edu.ar/handle/10915/69464 
942 |c CP 
952 |0 0  |1 0  |4 0  |6 A1188  |7 3  |8 BD  |9 83240  |a DIF  |b DIF  |d 2025-03-11  |l 0  |o A1188   |r 2025-03-11 17:05:11  |u http://catalogo.info.unlp.edu.ar/meran/getDocument.pl?id=2290  |w 2025-03-11  |y CP 
999 |c 57394  |d 57394