Clasificador Naive Bayes

Parte de una serie sobre
Estadísticas bayesianas
Teoría
Regla de decisión admisible Eficiencia bayesiana Epistemología bayesiana Probabilidad bayesiana Interpretaciones de probabilidad Teorema de Bayes Factor de Bayes Inferencia bayesiana Red bayesiana Previo Posterior Probabilidad Conjugado previo Predictivo posterior Hiperparámetro Hyperprior Principio de indiferencia Principio de máxima entropía Método empírico de Bayes Regla de Cromwell Teorema de Bernstein-von Mises Criterio de Schwarz Intervalo creíble Estimación máxima a posteriori Probabilismo radical
Técnicas
Regresión lineal bayesiana Estimador bayesiano Cálculo bayesiano aproximado Cadena de Markov Monte Carlo
Portal de matemáticas
v t mi

En estadística, los clasificadores de Bayes ingenuos son una familia de " clasificadores probabilísticos " simples basados ​​en la aplicación del teorema de Bayes con supuestos de independencia fuertes (ingenuos) entre las características (ver clasificador de Bayes ). Se encuentran entre los modelos de red bayesianos más simples, pero junto con la estimación de la densidad del kernel, pueden lograr niveles de precisión más altos.

Los clasificadores Naïve Bayes son altamente escalables y requieren un número de parámetros lineales en el número de variables (características / predictores) en un problema de aprendizaje. El entrenamiento de máxima verosimilitud se puede realizar mediante la evaluación de una expresión de forma cerrada, que requiere un tiempo lineal, en lugar de mediante una costosa aproximación iterativa como se usa para muchos otros tipos de clasificadores.

En la literatura sobre estadística y ciencias de la computación, los modelos ingenuos de Bayes se conocen con una variedad de nombres, incluidos los Bayes simples y los Bayes independientes. Todos estos nombres hacen referencia al uso del teorema de Bayes en la regla de decisión del clasificador, pero el ingenuo Bayes no es (necesariamente) un método bayesiano.

• 1 introducción
• 2 Modelo probabilístico
  • 2.1 Construcción de un clasificador a partir del modelo de probabilidad
• 3 Estimación de parámetros y modelos de eventos
  • 3.1 Bayes ingenuo gaussiano
  • 3.2 Bayes ingenuo multinomial
  • 3.3 Bernoulli ingenuo Bayes
  • 3.4 Estimación de parámetros semi-supervisada
• 4 Discusión
  • 4.1 Relación con la regresión logística
• 5 ejemplos
  • 5.1 Clasificación de personas
    • 5.1.1 Entrenamiento
    • 5.1.2 Prueba
  • 5.2 Clasificación de documentos
• 6 Véase también
• 7 referencias
• 8 Lecturas adicionales
• 9 Enlaces externos

Introducción

Naive Bayes es una técnica simple para construir clasificadores: modelos que asignan etiquetas de clase a instancias de problemas, representadas como vectores de valores de entidad, donde las etiquetas de clase se extraen de algún conjunto finito. No hay un solo algoritmo para entrenar tales clasificadores, sino una familia de algoritmos basados ​​en un principio común: todos los clasificadores de Bayes ingenuos asumen que el valor de una característica en particular es independiente del valor de cualquier otra característica, dada la variable de clase. Por ejemplo, una fruta puede considerarse una manzana si es roja, redonda y de unos 10 cm de diámetro. Un clasificador de Bayes ingenuo considera que cada una de estas características contribuye de forma independiente a la probabilidad de que esta fruta sea una manzana, independientemente de las posibles correlaciones entre las características de color, redondez y diámetro.

Para algunos tipos de modelos de probabilidad, los clasificadores de Bayes ingenuos se pueden entrenar de manera muy eficiente en un entorno de aprendizaje supervisado. En muchas aplicaciones prácticas, la estimación de parámetros para modelos Bayes ingenuos utiliza el método de máxima verosimilitud ; en otras palabras, se puede trabajar con el modelo ingenuo de Bayes sin aceptar la probabilidad bayesiana ni utilizar ningún método bayesiano.

A pesar de su diseño ingenuo y supuestos aparentemente simplificados, los clasificadores de Bayes ingenuos han funcionado bastante bien en muchas situaciones complejas del mundo real. En 2004, un análisis del problema de clasificación bayesiana mostró que existen sólidas razones teóricas para la eficacia aparentemente inverosímil de los clasificadores Bayes ingenuos. Aún así, una comparación exhaustiva con otros algoritmos de clasificación en 2006 mostró que la clasificación de Bayes es superada por otros enfoques, como árboles potenciados o bosques aleatorios.

Una ventaja de Bayes ingenuo es que solo requiere una pequeña cantidad de datos de entrenamiento para estimar los parámetros necesarios para la clasificación.

Modelo probabilístico

En resumen, Bayes ingenuo es un modelo de probabilidad condicional : dada una instancia de problema a clasificar, representada por un vector que representa algunas n características (variables independientes), asigna a esta instancia probabilidades $$

X=( X 1,..., X norte) {\ Displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {n})}

$$pag( C k∣ X 1,..., X norte) {\ Displaystyle p (C_ {k} \ mid x_ {1}, \ ldots, x_ {n}) \,}

para cada uno de los K posibles resultados o clases. $$

C k {\ Displaystyle C_ {k}}

El problema con la formulación anterior es que si el número de características n es grande o si una característica puede tomar una gran cantidad de valores, entonces no es factible basar dicho modelo en tablas de probabilidad. Por tanto, es necesario reformular el modelo para hacerlo más manejable. Usando el teorema de Bayes, la probabilidad condicional se puede descomponer como

$$pag( C k∣ X)= pag ( C k )   pag ( X ∣ C k ) pag ( X ) {\ Displaystyle p (C_ {k} \ mid \ mathbf {x}) = {\ frac {p (C_ {k}) \ p (\ mathbf {x} \ mid C_ {k})} {p (\ mathbf {X})}}\,}

En inglés simple, usando terminología de probabilidad bayesiana, la ecuación anterior se puede escribir como

$$ posterior= previo × probabilidad evidencia {\ Displaystyle {\ text {posterior}} = {\ frac {{\ text {anterior}} \ times {\ text {probabilidad}}} {\ text {evidencia}}} \,}

En la práctica, solo hay interés en el numerador de esa fracción, porque el denominador no depende y los valores de las características están dados, por lo que el denominador es efectivamente constante. El numerador es equivalente al modelo de probabilidad conjunta $$

C {\ Displaystyle C}$$ X I {\ Displaystyle x_ {i}}

$$pag( C k, X 1,..., X norte) {\ Displaystyle p (C_ {k}, x_ {1}, \ ldots, x_ {n}) \,}

que se puede reescribir de la siguiente manera, usando la regla de la cadena para aplicaciones repetidas de la definición de probabilidad condicional :

$$ pag ( C k , X 1 , ... , X norte ) = pag ( X 1 , ... , X norte , C k ) = pag ( X 1 ∣ X 2 , ... , X norte , C k )   pag ( X 2 , ... , X norte , C k ) = pag ( X 1 ∣ X 2 , ... , X norte , C k )   pag ( X 2 ∣ X 3 , ... , X norte , C k )   pag ( X 3 , ... , X norte , C k ) = ⋯ = pag ( X 1 ∣ X 2 , ... , X norte , C k )   pag ( X 2 ∣ X 3 , ... , X norte , C k ) ⋯ pag ( X norte - 1 ∣ X norte , C k )   pag ( X norte ∣ C k )   pag ( C k ) {\ Displaystyle {\ begin {alineado} p (C_ {k}, x_ {1}, \ ldots, x_ {n}) amp; = p (x_ {1}, \ ldots, x_ {n}, C_ {k})) \\ amp; = p (x_ {1} \ mid x_ {2}, \ ldots, x_ {n}, C_ {k}) \ p (x_ {2}, \ ldots, x_ {n}, C_ {k }) \\ amp; = p (x_ {1} \ mid x_ {2}, \ ldots, x_ {n}, C_ {k}) \ p (x_ {2} \ mid x_ {3}, \ ldots, x_ {n}, C_ {k}) \ p (x_ {3}, \ ldots, x_ {n}, C_ {k}) \\ amp; = \ cdots \\ amp; = p (x_ {1} \ mid x_ { 2}, \ ldots, x_ {n}, C_ {k}) \ p (x_ {2} \ mid x_ {3}, \ ldots, x_ {n}, C_ {k}) \ cdots p (x_ {n -1} \ mid x_ {n}, C_ {k}) \ p (x_ {n} \ mid C_ {k}) \ p (C_ {k}) \\\ end {alineado}}}

Ahora entran en juego los supuestos de independencia condicional "ingenuos": suponga que todas las características en son mutuamente independientes, condicionadas a la categoría. Bajo este supuesto, $$

X {\ Displaystyle \ mathbf {x}} $$ C k {\ Displaystyle C_ {k}}

$$pag( X I∣ X I + 1,..., X norte, C k)=pag( X I∣ C k) {\ Displaystyle p (x_ {i} \ mid x_ {i + 1}, \ ldots, x_ {n}, C_ {k}) = p (x_ {i} \ mid C_ {k}) \,}.

Por tanto, el modelo conjunto se puede expresar como

$$ pag ( C k ∣ X 1 , ... , X norte ) ∝ pag ( C k , X 1 , ... , X norte ) ∝ pag ( C k )   pag ( X 1 ∣ C k )   pag ( X 2 ∣ C k )   pag ( X 3 ∣ C k )   ⋯ ∝ pag ( C k ) ∏ I = 1 norte pag ( X I ∣ C k ) , {\ displaystyle {\ begin {alineado} p (C_ {k} \ mid x_ {1}, \ ldots, x_ {n}) y \ varpropto p (C_ {k}, x_ {1}, \ ldots, x_ { n}) \\ amp; \ varpropto p (C_ {k}) \ p (x_ {1} \ mid C_ {k}) \ p (x_ {2} \ mid C_ {k}) \ p (x_ {3} \ mid C_ {k}) \ \ cdots \\ amp; \ varpropto p (C_ {k}) \ prod _ {i = 1} ^ {n} p (x_ {i} \ mid C_ {k}) \,, \ end {alineado}}}

donde denota proporcionalidad. $$

∝ {\ Displaystyle \ varpropto}

Esto significa que bajo los supuestos de independencia anteriores, la distribución condicional sobre la variable de clase es: $$

C {\ Displaystyle C}

$$pag( C k∣ X 1,..., X norte)= 1 Zpag( C k) ∏ I = 1 nortepag( X I∣ C k) {\ Displaystyle p (C_ {k} \ mid x_ {1}, \ ldots, x_ {n}) = {\ frac {1} {Z}} p (C_ {k}) \ prod _ {i = 1} ^ {n} p (x_ {i} \ mid C_ {k})}

donde la evidencia es un factor de escala que depende únicamente de, es decir, una constante si se conocen los valores de las variables de características. $$

Z=pag( X)= ∑ kpag( C k) pag( X∣ C k) {\ Displaystyle Z = p (\ mathbf {x}) = \ sum _ {k} p (C_ {k}) \ p (\ mathbf {x} \ mid C_ {k})}$$ X 1,..., X norte {\ Displaystyle x_ {1}, \ ldots, x_ {n}}

Construyendo un clasificador a partir del modelo de probabilidad

La discusión hasta ahora ha derivado el modelo de características independientes, es decir, el modelo de probabilidad ingenuo de Bayes. El clasificador ingenuo de Bayes combina este modelo con una regla de decisión. Una regla común es elegir la hipótesis más probable; esto se conoce como regla de decisión máxima a posteriori o MAP. El clasificador correspondiente, un clasificador de Bayes, es la función que asigna una etiqueta de clase para algunos k de la siguiente manera: $$

y ^= C k {\ Displaystyle {\ hat {y}} = C_ {k}}

$$ y ^= argmax k ∈ { 1 , ... , K } pag( C k) ∏ I = 1 nortepag( X I∣ C k). {\ Displaystyle {\ hat {y}} = {\ underset {k \ in \ {1, \ ldots, K \}} {\ operatorname {argmax}}} \ p (C_ {k}) \ displaystyle \ prod _ {i = 1} ^ {n} p (x_ {i} \ mid C_ {k}).}

Estimación de parámetros y modelos de eventos

El previo de una clase se puede calcular asumiendo clases equiprobables ( es decir,), o calculando una estimación de la probabilidad de la clase a partir del conjunto de entrenamiento ( es decir, lt;anterior para una clase determinadagt; = lt;número de muestras en la clasegt; / lt;total número de muestrasgt;). Para estimar los parámetros para la distribución de una característica, se debe asumir una distribución o generar modelos no paramétricos para las características del conjunto de entrenamiento. $$

pag( C k)=1 /K {\ Displaystyle p (C_ {k}) = 1 / K}

Los supuestos sobre distribuciones de características se denominan "modelo de eventos" del clasificador ingenuo de Bayes. Para funciones discretas como las que se encuentran en la clasificación de documentos (incluido el filtrado de correo no deseado), las distribuciones multinomiales y de Bernoulli son populares. Estos supuestos conducen a dos modelos distintos, que a menudo se confunden.

Bayes ingenuo gaussiano

Cuando se trata de datos continuos, una suposición típica es que los valores continuos asociados con cada clase se distribuyen de acuerdo con una distribución normal (o gaussiana). Por ejemplo, supongamos que los datos de entrenamiento contiene un atributo continuo,. Los datos se segmentan primero por clase y luego se calcula la media y la varianza de en cada clase. Sea la media de los valores en asociados con la clase C k, y sea ​​la varianza corregida por Bessel de los valores en asociados con la clase C k. Suponga que uno ha recopilado algún valor de observación. Entonces, la probabilidad de densidad de dada una clase,, se puede calcular mediante la conexión en la ecuación para una distribución normal parametrizado por y. Eso es, $$

X {\ Displaystyle x} $$X {\ Displaystyle x}$$ μ k {\ Displaystyle \ mu _ {k}}$$X {\ Displaystyle x}$$ σ k 2 {\ Displaystyle \ sigma _ {k} ^ {2}} $$X {\ Displaystyle x}$$v {\ Displaystyle v}$$v {\ Displaystyle v}$$ C k {\ Displaystyle C_ {k}}$$pag(X=v∣ C k) {\ Displaystyle p (x = v \ mid C_ {k})}$$v {\ Displaystyle v} $$ μ k {\ Displaystyle \ mu _ {k}}$$ σ k 2 {\ Displaystyle \ sigma _ {k} ^ {2}}

$$pag(X=v∣ C k)= 1 2 π σ k 2 mi - ( v - μ k ) 2 2 σ k 2 {\ Displaystyle p (x = v \ mid C_ {k}) = {\ frac {1} {\ sqrt {2 \ pi \ sigma _ {k} ^ {2}}}} \, e ^ {- {\ frac {(v- \ mu _ {k}) ^ {2}} {2 \ sigma _ {k} ^ {2}}}}}

Otra técnica común para manejar valores continuos es usar la agrupación para discretizar los valores de las características, para obtener un nuevo conjunto de características distribuidas por Bernoulli; De hecho, alguna literatura sugiere que esto es necesario para aplicar Bayes ingenuo, pero no lo es, y la discretización puede desechar información discriminativa.

A veces, la distribución de densidades marginales condicionales de clase está lejos de ser normal. En estos casos, la estimación de la densidad del kernel se puede utilizar para obtener una estimación más realista de las densidades marginales de cada clase. Este método, que fue introducido por John y Langley, puede aumentar considerablemente la precisión del clasificador.

Bayes ingenuo multinomial

Con un modelo de eventos multinomial, las muestras (vectores de características) representan las frecuencias con las que ciertos eventos han sido generados por un multinomio donde es la probabilidad de que ocurra el evento i (o K tales multinomios en el caso multiclase). Un vector de características es entonces un histograma, que cuenta el número de veces que se observó el evento i en un caso particular. Este es el modelo de eventos que se usa típicamente para la clasificación de documentos, con eventos que representan la aparición de una palabra en un solo documento (ver suposición de bolsa de palabras ). La probabilidad de observar un histograma x viene dada por $$

( pag 1,..., pag norte) {\ Displaystyle (p_ {1}, \ dots, p_ {n})}$$ pag I {\ Displaystyle p_ {i}}$$ X=( X 1,..., X norte) {\ Displaystyle \ mathbf {x} = (x_ {1}, \ dots, x_ {n})} $$ X I {\ Displaystyle x_ {i}}

$$pag( X∣ C k)= ( ∑ I = 1 norte X I ) ! ∏ I = 1 norte X I ! ∏ I = 1 norte pag k I X I {\ Displaystyle p (\ mathbf {x} \ mid C_ {k}) = {\ frac {(\ sum _ {i = 1} ^ {n} x_ {i})!} {\ prod _ {i = 1 } ^ {n} x_ {i}!}} \ prod _ {i = 1} ^ {n} {p_ {ki}} ^ {x_ {i}}}

El clasificador de Bayes ingenuo multinomial se convierte en un clasificador lineal cuando se expresa en espacio logarítmico:

$$ Iniciar sesión ⁡ pag ( C k ∣ X ) ∝ Iniciar sesión ⁡ ( pag ( C k ) ∏ I = 1 norte pag k I X I ) = Iniciar sesión ⁡ pag ( C k ) + ∑ I = 1 norte X I ⋅ Iniciar sesión ⁡ pag k I = B + w k ⊤ X {\ Displaystyle {\ begin {alineado} \ log p (C_ {k} \ mid \ mathbf {x}) amp; \ varpropto \ log \ left (p (C_ {k}) \ prod _ {i = 1} ^ { n} {p_ {ki}} ^ {x_ {i}} \ right) \\ amp; = \ log p (C_ {k}) + \ sum _ {i = 1} ^ {n} x_ {i} \ cdot \ log p_ {ki} \\ amp; = b + \ mathbf {w} _ {k} ^ {\ top} \ mathbf {x} \ end {alineado}}}

donde y. $$

B=Iniciar sesión⁡pag( C k) {\ Displaystyle b = \ log p (C_ {k})}$$ w k I=Iniciar sesión⁡ pag k I {\ Displaystyle w_ {ki} = \ log p_ {ki}}

Si una clase y un valor de característica determinados nunca ocurren juntos en los datos de entrenamiento, entonces la estimación de probabilidad basada en la frecuencia será cero, porque la estimación de probabilidad es directamente proporcional al número de ocurrencias del valor de una característica. Esto es problemático porque borrará toda la información en las otras probabilidades cuando se multipliquen. Por lo tanto, a menudo es deseable incorporar una corrección de muestra pequeña, llamada pseudocontento, en todas las estimaciones de probabilidad, de modo que nunca se establezca una probabilidad exactamente igual a cero. Esta forma de regularizar Bayes ingenuo se llama suavizado de Laplace cuando el pseudocontento es uno, y suavizado de Lidstone en el caso general.

Rennie y col. discutir los problemas con el supuesto multinomial en el contexto de la clasificación de documentos y las posibles formas de aliviar esos problemas, incluido el uso de ponderaciones tf-idf en lugar de frecuencias de términos sin procesar y normalización de la longitud del documento, para producir un clasificador Bayes ingenuo que sea competitivo con el vector de soporte Máquinas.

Bernoulli ingenuo Bayes

En el modelo de eventos de Bernoulli multivariado, las características son booleanos independientes (variables binarias) que describen las entradas. Al igual que el modelo multinomial, este modelo es popular para tareas de clasificación de documentos, donde se utilizan características de ocurrencia de términos binarios en lugar de frecuencias de términos. Si es un booleano que expresa la ocurrencia o ausencia del i -ésimo término del vocabulario, entonces la probabilidad de que un documento tenga una clase está dada por $$

X I {\ Displaystyle x_ {i}}$$ C k {\ Displaystyle C_ {k}}

$$pag( X∣ C k)= ∏ I = 1 norte pag k I X I(1- pag k I ) ( 1 - X I ) {\ Displaystyle p (\ mathbf {x} \ mid C_ {k}) = \ prod _ {i = 1} ^ {n} p_ {ki} ^ {x_ {i}} (1-p_ {ki}) ^ {(1-x_ {i})}}

donde es la probabilidad de que la clase genere el término. Este modelo de evento es especialmente popular para clasificar textos breves. Tiene la ventaja de modelar explícitamente la ausencia de términos. Tenga en cuenta que un clasificador Bayes ingenuo con un modelo de eventos de Bernoulli no es lo mismo que un clasificador NB multinomial con recuentos de frecuencia truncados a uno. $$

pag k I {\ Displaystyle p_ {ki}}$$ C k {\ Displaystyle C_ {k}}$$ X I {\ Displaystyle x_ {i}}

Estimación de parámetros semi-supervisada

Dada una forma de entrenar a un clasificador de Bayes ingenuo a partir de datos etiquetados, es posible construir un algoritmo de entrenamiento semi-supervisado que puede aprender de una combinación de datos etiquetados y no etiquetados ejecutando el algoritmo de aprendizaje supervisado en un bucle:

Dada una colección de muestras de la etiqueta L y las muestras sin etiqueta T, empezar por la formación de un clasificador de Bayes ingenuo en L.$$D=L⊎U {\ Displaystyle D = L \ uplus U}

Hasta la convergencia, haga:

Predecir las probabilidades de clase para todos los ejemplos x en.$$PAG(C∣X) {\ Displaystyle P (C \ mid x)}$$D {\ Displaystyle D}

Vuelva a entrenar el modelo en función de las probabilidades (no las etiquetas) predichas en el paso anterior.

La convergencia se determina en función de la mejora de la probabilidad del modelo, donde denota los parámetros del modelo de Bayes ingenuo. $$

PAG(D∣θ) {\ Displaystyle P (D \ mid \ theta)}$$θ {\ Displaystyle \ theta}

Este algoritmo de entrenamiento es una instancia de la más general algoritmo de expectativa de maximización (EM): la etapa de predicción dentro del bucle es el E -paso de EM, mientras que la nueva capacitación de Bayes ingenuo es el M -paso. El algoritmo se justifica formalmente asumiendo que los datos son generados por un modelo mixto, y los componentes de este modelo mixto son exactamente las clases del problema de clasificación.

Discusión

A pesar del hecho de que los supuestos de independencia de largo alcance son a menudo inexactos, el clasificador ingenuo de Bayes tiene varias propiedades que lo hacen sorprendentemente útil en la práctica. En particular, el desacoplamiento de las distribuciones de características condicionales de clase significa que cada distribución puede estimarse independientemente como una distribución unidimensional. Esto ayuda a aliviar los problemas derivados de la maldición de la dimensionalidad, como la necesidad de conjuntos de datos que escalen exponencialmente con el número de características. Si bien Bayes ingenuo a menudo no produce una buena estimación de las probabilidades de clase correctas, esto puede no ser un requisito para muchas aplicaciones. Por ejemplo, el clasificador Bayes ingenuo hará la clasificación correcta de la regla de decisión MAP siempre que la clase correcta sea más probable que cualquier otra clase. Esto es cierto independientemente de si la estimación de probabilidad es leve o incluso extremadamente inexacta. De esta manera, el clasificador general puede ser lo suficientemente robusto como para ignorar serias deficiencias en su modelo de probabilidad ingenuo subyacente. Otras razones del éxito observado del clasificador de Bayes ingenuo se discuten en la literatura citada a continuación.

Relación con la regresión logística

En el caso de entradas discretas (indicadores o características de frecuencia para eventos discretos), los clasificadores de Bayes ingenuos forman un par generativo-discriminativo con clasificadores de regresión logística ( multinomiales ): cada clasificador de Bayes ingenuo puede considerarse una forma de ajustar un modelo de probabilidad que optimiza el probabilidad conjunta, mientras que la regresión logística se ajusta al mismo modelo de probabilidad para optimizar el condicional. $$

pag(C, X) {\ Displaystyle p (C, \ mathbf {x})}$$pag(C∣ X) {\ Displaystyle p (C \ mid \ mathbf {x})}

El vínculo entre los dos puede verse observando que la función de decisión para Bayes ingenuo (en el caso binario) se puede reescribir como "predecir la clase si las probabilidades de exceden las de ". Expresando esto en el espacio de registro da: $$

C 1 {\ Displaystyle C_ {1}} $$pag( C 1∣ X) {\ Displaystyle p (C_ {1} \ mid \ mathbf {x})}$$pag( C 2∣ X) {\ Displaystyle p (C_ {2} \ mid \ mathbf {x})}

$$Iniciar sesión⁡ pag ( C 1 ∣ X ) pag ( C 2 ∣ X )=Iniciar sesión⁡pag( C 1∣ X)-Iniciar sesión⁡pag( C 2∣ X)gt;0 {\ Displaystyle \ log {\ frac {p (C_ {1} \ mid \ mathbf {x})} {p (C_ {2} \ mid \ mathbf {x})}} = \ log p (C_ {1} \ mid \ mathbf {x}) - \ log p (C_ {2} \ mid \ mathbf {x})gt; 0}

El lado izquierdo de esta ecuación es el log-odds, o logit, la cantidad predicha por el modelo lineal que subyace a la regresión logística. Dado que Bayes ingenuo también es un modelo lineal para los dos modelos de eventos "discretos", puede reparametrizarse como una función lineal. Obtener las probabilidades es entonces una cuestión de aplicar la función logística a, o en el caso multiclase, la función softmax. $$

B+ w ⊤Xgt;0 {\ Displaystyle b + \ mathbf {w} ^ {\ top} xgt; 0} $$B+ w ⊤X {\ Displaystyle b + \ mathbf {w} ^ {\ top} x}

Los clasificadores discriminativos tienen un error asintótico menor que los generativos; sin embargo, la investigación de Ng y Jordan ha demostrado que, en algunos casos prácticos, el Bayes ingenuo puede superar la regresión logística porque alcanza su error asintótico más rápidamente.

Ejemplos de

Clasificación de personas

Problema: clasifica si una persona determinada es hombre o mujer según las características medidas. Las características incluyen altura, peso y tamaño del pie.

Capacitación

Ejemplo de entrenamiento establecido a continuación.

Persona	pies de altura)	peso libras)	tamaño del pie (pulgadas)
masculino	6	180	12
masculino	5,92 (5'11 ")	190	11
masculino	5,58 (5'7 ")	170	12
masculino	5,92 (5'11 ")	165	10
mujer	5	100	6
mujer	5,5 (5'6 ")	150	8
mujer	5,42 (5'5 ")	130	7
mujer	5,75 (5'9 ")	150	9

El clasificador creado a partir del conjunto de entrenamiento utilizando un supuesto de distribución gaussiana sería (dadas las varianzas son varianzas muestrales insesgadas):

Persona	media (altura)	varianza (altura)	media (peso)	varianza (peso)	media (tamaño del pie)	varianza (tamaño del pie)
masculino	5.855	3,5033 × 10 −2	176.25	1.2292 × 10 2	11.25	9.1667 × 10 −1
mujer	5.4175	9,7225 × 10 −2	132,5	5.5833 × 10 2	7.5	1,6667

El siguiente ejemplo asume clases equiprobables de modo que P (hombre) = P (mujer) = 0.5. Esta distribución de probabilidad previa podría basarse en el conocimiento previo de las frecuencias en la población más grande o en el conjunto de entrenamiento.

Pruebas

A continuación se muestra una muestra para ser clasificada como masculina o femenina.

Persona	pies de altura)	peso libras)	tamaño del pie (pulgadas)
muestra	6	130	8

Para clasificar la muestra, hay que determinar qué parte posterior es mayor, hombre o mujer. Para la clasificación como masculino, la parte posterior viene dada por

$$ posterior (masculino)= PAG ( masculino ) pag ( altura ∣ masculino ) pag ( peso ∣ masculino ) pag ( el tamaño del pie ∣ masculino ) mi v I D mi norte C mi {\ Displaystyle {\ text {posterior (masculino)}} = {\ frac {P ({\ text {masculino}}) \, p ({\ text {altura}} \ mid {\ text {masculino}}) \, p ({\ text {peso}} \ mid {\ text {hombre}}) \, p ({\ text {tamaño del pie}} \ mid {\ text {hombre}})} {evidencia}}}

Para la clasificación como mujer, la parte posterior viene dada por

$$ posterior (femenino)= PAG ( mujer ) pag ( altura ∣ mujer ) pag ( peso ∣ mujer ) pag ( el tamaño del pie ∣ mujer ) mi v I D mi norte C mi {\ Displaystyle {\ text {posterior (femenino)}} = {\ frac {P ({\ text {femenino}}) \, p ({\ text {altura}} \ mid {\ text {femenino}}) \, p ({\ text {peso}} \ mid {\ text {mujer}}) \, p ({\ text {tamaño del pie}} \ mid {\ text {mujer}})} {evidencia}}}

La evidencia (también denominada constante de normalización) se puede calcular:

$$ evidencia = PAG ( masculino ) pag ( altura ∣ masculino ) pag ( peso ∣ masculino ) pag ( el tamaño del pie ∣ masculino ) + PAG ( mujer ) pag ( altura ∣ mujer ) pag ( peso ∣ mujer ) pag ( el tamaño del pie ∣ mujer ) {\ Displaystyle {\ begin {alineado} {\ text {evidencia}} = P ({\ text {masculino}}) \, p ({\ text {altura}} \ mid {\ text {masculino}}) \, p ({\ text {peso}} \ mid {\ text {hombre}}) \, p ({\ text {tamaño del pie}} \ mid {\ text {hombre}}) \\ + P ({\ text { mujer}}) \, p ({\ text {altura}} \ mid {\ text {mujer}}) \, p ({\ text {peso}} \ mid {\ text {mujer}}) \, p ( {\ text {tamaño del pie}} \ mid {\ text {femenino}}) \ end {alineado}}}

Sin embargo, dada la muestra, la evidencia es una constante y, por lo tanto, escala ambas partes posteriores por igual. Por tanto, no afecta a la clasificación y puede ignorarse. Ahora se puede determinar la distribución de probabilidad para el sexo de la muestra:

$$PAG( masculino)=0,5 {\ Displaystyle P ({\ text {masculino}}) = 0.5}

$$pag( altura∣ masculino)= 1 2 π σ 2Exp⁡ ( - ( 6 - μ ) 2 2 σ 2 )≈1.5789 {\ Displaystyle p ({\ text {altura}} \ mid {\ text {masculino}}) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left ( {\ frac {- (6- \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) \ approx 1.5789},

donde y son los parámetros de distribución normal que se han determinado previamente a partir del conjunto de entrenamiento. Tenga en cuenta que un valor mayor que 1 está bien aquí: es una densidad de probabilidad en lugar de una probabilidad, porque la altura es una variable continua. $$

μ=5.855 {\ Displaystyle \ mu = 5.855}$$ σ 2=3.5033⋅ 10 - 2 {\ Displaystyle \ sigma ^ {2} = 3.5033 \ cdot 10 ^ {- 2}}

$$pag( peso∣ masculino)= 1 2 π σ 2Exp⁡ ( - ( 130 - μ ) 2 2 σ 2 )=5.9881⋅ 10 - 6 {\ Displaystyle p ({\ text {peso}} \ mid {\ text {masculino}}) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left ( {\ frac {- (130- \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) = 5.9881 \ cdot 10 ^ {- 6}}

$$pag( el tamaño del pie∣ masculino)= 1 2 π σ 2Exp⁡ ( - ( 8 - μ ) 2 2 σ 2 )=1.3112⋅ 10 - 3 {\ displaystyle p ({\ text {tamaño del pie}} \ mid {\ text {male}}) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left ({\ frac {- (8- \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) = 1.3112 \ cdot 10 ^ {- 3}}

$$ numerador posterior (masculino)= su producto=6.1984⋅ 10 - 9 {\ displaystyle {\ text {numerador posterior (masculino)}} = {\ text {su producto}} = 6.1984 \ cdot 10 ^ {- 9}}

$$PAG( mujer)=0,5 {\ displaystyle P ({\ text {femenino}}) = 0.5}

$$pag( altura∣ mujer)=2.23⋅ 10 - 1 {\ displaystyle p ({\ text {altura}} \ mid {\ text {mujer}}) = 2,23 \ cdot 10 ^ {- 1}}

$$pag( peso∣ mujer)=1.6789⋅ 10 - 2 {\ Displaystyle p ({\ text {peso}} \ mid {\ text {femenino}}) = 1.6789 \ cdot 10 ^ {- 2}}

$$pag( el tamaño del pie∣ mujer)=2.8669⋅ 10 - 1 {\ displaystyle p ({\ text {tamaño del pie}} \ mid {\ text {femenino}}) = 2.8669 \ cdot 10 ^ {- 1}}

$$ numerador posterior (femenino)= su producto=5.3778⋅ 10 - 4 {\ displaystyle {\ text {numerador posterior (femenino)}} = {\ text {su producto}} = 5.3778 \ cdot 10 ^ {- 4}}

Dado que el numerador posterior es mayor en el caso femenino, la predicción es que la muestra es femenina.

Clasificación de documentos

Aquí hay un ejemplo trabajado de clasificación bayesiana ingenua para el problema de clasificación de documentos. Considere el problema de la clasificación de los documentos por su contenido, por ejemplo, en el spam y no-spam e-mails. Imagine que los documentos se extraen de una serie de clases de documentos que pueden modelarse como conjuntos de palabras donde la probabilidad (independiente) de que la i-ésima palabra de un documento dado aparezca en un documento de la clase C se pueda escribir como

$$pag( w I∣C) {\ Displaystyle p (w_ {i} \ mid C) \,}

(Para este tratamiento, las cosas se simplifican aún más asumiendo que las palabras se distribuyen aleatoriamente en el documento, es decir, las palabras no dependen de la longitud del documento, la posición dentro del documento en relación con otras palabras u otro contexto del documento.)

Entonces, la probabilidad de que un documento D determinado contenga todas las palabras, dada una clase C, es $$

w I {\ Displaystyle w_ {i}}

$$pag(D∣C)= ∏ Ipag( w I∣C) {\ Displaystyle p (D \ mid C) = \ prod _ {i} p (w_ {i} \ mid C) \,}

La pregunta que debe responderse es: "¿cuál es la probabilidad de que un documento D determinado pertenezca a una clase C determinada ?" En otras palabras, ¿qué es ? $$

pag(C∣D) {\ Displaystyle p (C \ mid D) \,}

Ahora por definición

$$pag(D∣C)= pag ( D ∩ C ) pag ( C ) {\ Displaystyle p (D \ mid C) = {p (D \ cap C) \ over p (C)}}

y

$$pag(C∣D)= pag ( D ∩ C ) pag ( D ) {\ Displaystyle p (C \ mid D) = {p (D \ cap C) \ over p (D)}}

El teorema de Bayes los manipula en un enunciado de probabilidad en términos de verosimilitud.

$$pag(C∣D)= pag ( C ) pag ( D ∣ C ) pag ( D ) {\ Displaystyle p (C \ mid D) = {\ frac {p (C) \, p (D \ mid C)} {p (D)}}}

Suponga por el momento que solo hay dos clases mutuamente excluyentes, S y ¬ S (por ejemplo, spam y no spam), de modo que cada elemento (correo electrónico) está en una u otra;

$$pag(D∣S)= ∏ Ipag( w I∣S) {\ Displaystyle p (D \ mid S) = \ prod _ {i} p (w_ {i} \ mid S) \,}

y

$$pag(D∣¬S)= ∏ Ipag( w I∣¬S) {\ Displaystyle p (D \ mid \ neg S) = \ prod _ {i} p (w_ {i} \ mid \ neg S) \,}

Usando el resultado bayesiano anterior, se puede escribir:

$$pag(S∣D)= pag ( S ) pag ( D ) ∏ Ipag( w I∣S) {\ Displaystyle p (S \ mid D) = {p (S) \ over p (D)} \, \ prod _ {i} p (w_ {i} \ mid S)}

$$pag(¬S∣D)= pag ( ¬ S ) pag ( D ) ∏ Ipag( w I∣¬S) {\ Displaystyle p (\ neg S \ mid D) = {p (\ neg S) \ over p (D)} \, \ prod _ {i} p (w_ {i} \ mid \ neg S)}

Dividiendo uno por otro da:

$$ pag ( S ∣ D ) pag ( ¬ S ∣ D )= pag ( S ) ∏ I pag ( w I ∣ S ) pag ( ¬ S ) ∏ I pag ( w I ∣ ¬ S ) {\ Displaystyle {p (S \ mid D) \ over p (\ neg S \ mid D)} = {p (S) \, \ prod _ {i} p (w_ {i} \ mid S) \ over p (\ neg S) \, \ prod _ {i} p (w_ {i} \ mid \ neg S)}}

Que se puede refactorizar como:

$$ pag ( S ∣ D ) pag ( ¬ S ∣ D )= pag ( S ) pag ( ¬ S ) ∏ I pag ( w I ∣ S ) pag ( w I ∣ ¬ S ) {\ Displaystyle {p (S \ mid D) \ over p (\ neg S \ mid D)} = {p (S) \ over p (\ neg S)} \, \ prod _ {i} {p (w_ {i} \ mid S) \ over p (w_ {i} \ mid \ neg S)}}

Por lo tanto, la razón de probabilidad p ( S | D) / p (¬ S | D) se puede expresar en términos de una serie de razones de verosimilitud. La probabilidad real p ( S | D) se puede calcular fácilmente a partir de log (p ( S | D) / p (¬ S | D)) basándose en la observación de que p ( S | D) + p (¬ S | D) = 1.

Tomando el logaritmo de todas estas razones, se obtiene:

$$en⁡ pag ( S ∣ D ) pag ( ¬ S ∣ D )=en⁡ pag ( S ) pag ( ¬ S )+ ∑ Ien⁡ pag ( w I ∣ S ) pag ( w I ∣ ¬ S ) {\ Displaystyle \ ln {p (S \ mid D) \ over p (\ neg S \ mid D)} = \ ln {p (S) \ over p (\ neg S)} + \ sum _ {i} \ ln {p (w_ {i} \ mid S) \ over p (w_ {i} \ mid \ neg S)}}

(Esta técnica de "relaciones logarítmicas de verosimilitud " es una técnica común en estadística. En el caso de dos alternativas mutuamente excluyentes (como este ejemplo), la conversión de una razón logarítmica de verosimilitud en una probabilidad toma la forma de una curva sigmoidea : consulte logit para obtener más detalles.)

Finalmente, el documento se puede clasificar de la siguiente manera. Es spam si (es decir,), de lo contrario no es spam. $$

pag(S∣D)gt;pag(¬S∣D) {\ Displaystyle p (S \ mid D)gt; p (\ neg S \ mid D)}$$en⁡ pag ( S ∣ D ) pag ( ¬ S ∣ D )gt;0 {\ Displaystyle \ ln {p (S \ mid D) \ over p (\ neg S \ mid D)}gt; 0}

Ver también

• AODE
• Clasificador de bayes
• Filtrado bayesiano de spam
• Red bayesiana
• Bayes ingenuo al azar
• Clasificador lineal
• Regresión logística
• Perceptrón
• Toma la mejor heurística

Referencias

Otras lecturas

• Domingos, Pedro; Pazzani, Michael (1997). "Sobre la optimalidad del clasificador bayesiano simple bajo pérdida cero-uno". Aprendizaje automático. 29 (2/3): 103–137. doi : 10.1023 / A: 1007413511361.
• Webb, GI; Boughton, J.; Wang, Z. (2005). "Bayes no tan ingenuo: agregación de estimadores de dependencia única". Aprendizaje automático. 58 (1): 5–24. doi : 10.1007 / s10994-005-4258-6.
• Mozina, M.; Demsar, J.; Kattan, M.; Zupan, B. (2004). Nomogramas para visualización de clasificador bayesiano ingenuo (PDF). Proc. PKDD-2004. págs. 337–348.
• Maron, ME (1961). "Indexación automática: una investigación experimental". Revista de la ACM. 8 (3): 404–417. doi : 10.1145 / 321075.321084. hdl : 2027 / uva.x030748531. S2CID   6692916.
• Minsky, M. (1961). Pasos hacia la inteligencia artificial. Proc. IRA. 49. págs. 8-30.

enlaces externos

• Capítulo del libro: Clasificación de texto de Naive Bayes, Introducción a la recuperación de información
• Bayes ingenuo para la clasificación de texto con clases no balanceadas
• Resultados de referencia de las implementaciones de Naive Bayes
• Clasificadores jerárquicos Naive Bayes para datos inciertos (una extensión del clasificador Naive Bayes).

Software

• Los clasificadores Naive Bayes están disponibles en muchos paquetes de aprendizaje automático y PNL de propósito general, incluidos Apache Mahout, Mallet, NLTK, Orange, scikit-learn y Weka.
• Bibliotecas numéricas IMSL Colecciones de algoritmos matemáticos y estadísticos disponibles en C / C ++, Fortran, Java y C # /.NET. Las rutinas de minería de datos en las bibliotecas IMSL incluyen un clasificador Naive Bayes.
• Una implementación interactiva de Naive Bayes de hoja de cálculo de Microsoft Excel usando VBA (requiere macros habilitadas) con código fuente visible.
• jBNC - Caja de herramientas de clasificador de red bayesiana
• Caja de herramientas de reconocimiento estadístico de patrones para Matlab.
• ifile : el primer filtro bayesiano de correo / correo no deseado (ingenuo) disponible de forma gratuita
• NClassifier : NClassifier es una biblioteca.NET que admite la clasificación de texto y el resumen de texto. Es un puerto de Classifier4J.
• Classifier4J : Classifier4J es una biblioteca de Java diseñada para clasificar texto. Viene con una implementación de un clasificador bayesiano.
• El clasificador JNBC Naive Bayes se ejecuta en memoria o utiliza almacenes rápidos de clave-valor (MapDB, LevelDB o RocksDB).
• Blayze - Blayze es una biblioteca JVM mínima para la clasificación Naive Bayes escrita en Kotlin.