Desde nuestro anterior post, profundizamos en las razones que nos llevan a utilizar una función sigmoidea para la Regresión Logística en lugar de una función lineal normal. En este post, seguiremos compartiendo sobre la Función de Coste.
La Función de Coste es importante porque nos da los errores de nuestras predicciones y posteriormente, es necesaria para nuestro algoritmo de aprendizaje. Concretamente, nos gusta minimizar los errores de nuestras predicciones, es decir, minimizar la función de coste. Idealmente, si todos nuestros errores son cero, es como jugar a un juego de dardos en el que todos nuestros dardos darían en la diana. En el otro lado del argumento, si nuestros errores son muy altos, esto significa que nuestros valores predichos están perdiendo todos los verdaderos valores observados, es decir, nuestros dardos están, en general, perdiendo la diana.
Aunque nos gusta tener errores cero al ejecutar nuestra función de coste con nuestros valores hipotetizados (predicción perfecta para cada valor), esto podría no ser un buen escenario dado que podría conducir a un fenómeno llamado «alta varianza». Tocaremos más este tema en escritos posteriores.
Volviendo a la formulación de la función de pérdida, una función de pérdida típica sería minimizar la suma de errores al cuadrado, es decir
Esta función, sin embargo, puede dar lugar a múltiples óptimos locales durante el proceso de optimización, lo que significa que su solución optimizada podría no ser la más optimizada (existe la posibilidad de que haya una solución mejor). Lo ideal es que la solución optimizada sea el mínimo global, y no el mínimo local.
Como se ve en el diagrama anterior, podríamos inicializar inadvertidamente los parámetros y optimizarlos hasta el mínimo local sin alcanzar el «verdadero» mínimo global. Por lo tanto, la mencionada función de pérdida no sería la ideal para nosotros.
¿Cuál podría ser entonces nuestra función de pérdida?
Una función de pérdida comúnmente utilizada para la regresión logística es esta:
Nótese que he utilizado coste y pérdida indistintamente, pero para aquellos acostumbrados a las conferencias de Andrew Ng, la «función de pérdida» es para un solo ejemplo de entrenamiento mientras que la «función de coste» toma la media de todos los ejemplos de entrenamiento.
Para ver por qué esta función de pérdida tiene sentido: Suponiendo y = 1, y centrándonos en la ecuación superior, -log(h⊖(x)), queremos que sea muy negativa ya que se trata de una función de pérdida (Recordemos que queremos minimizar la función de pérdida como objetivo). Como resultado, h⊖(x) será grande. Dicho esto, recordemos que h⊖(x) está limitada al valor máximo de 1 debido a que la función Sigmoide restringe el valor estimado de la hipótesis entre 0 y 1:
h⊖(x) = ŷ = σ(z)
Por lo tanto, cuando y=1, tenemos la función de pérdida minimizada al extremo cuando ŷ = 1. Una predicción perfecta en la que apenas se incurre en pérdidas/costes.
Por el contrario, si y = 0, y centrándonos en la parte inferior de la ecuación, -log(1- h⊖(x)). Nos gusta que esto sea muy negativo debido a nuestro objetivo de minimización de pérdidas. Como resultado, 1- h⊖(x) sería muy grande, y el corolario de esto sería que h⊖(x) sería muy pequeño. Sin embargo, recordemos que h⊖(x) está limitada al valor mínimo de 0 debido a que la función sigmoide hace que el valor estimado de la hipótesis esté entre 0 y 1.
Por tanto, cuando y=0, tenemos la función de pérdida minimizada al extremo cuando ŷ = 0. Una predicción perfecta que tiene poca o ninguna pérdida/coste incurrido.
Sus gráficos correspondientes ilustrarán los puntos anteriores:
Como se puede ver en la gráfica de la izquierda (y = -log(h⊖(x)), cuando y = 1, el coste va a 0 cuando el valor hipotético es 1 y va a infinito cuando el valor hipotético es cercano a 0.
En la misma línea, la gráfica de la derecha (y = -log(1 – h⊖(x)), cuando y = 0, el coste va a 0 cuando el valor hipotetizado es 0 y va a infinito cuando el valor hipotetizado se acerca a 1.
Combinando ambos en una ecuación ordenada obtendremos la función de coste para la regresión logística con m ejemplos de entrenamiento:
donde i va de 1 a m para m ejemplos de entrenamiento.
En la IA y el aprendizaje automático, habrá muchas notaciones que se lanzan alrededor y sería útil tener un sentido de ellos.
Al entrenar el modelo de regresión logística, nuestro objetivo es encontrar los parámetros, «w» y «b» que minimiza la función de coste global. En el próximo artículo, tocaremos el siguiente segmento importante, el Ascenso Gradiente.
En numpy, podemos codificar la Función de Coste de la siguiente manera:
import numpy as npcost = (-1/m) * np.sum(Y*np.log(A) + (1-Y)*(np.log(1-A)))
Para explicarlo:
- np.suma sobre los elementos del array (Y*np.log(A) + (1-Y)*(np.log(1-A)), que en este caso sería la suma sobre todos los ejemplos de entrenamiento. Ver más aquí.
- np.log toma el logaritmo natural, elemento a elemento de la matriz. Ver más aquí.
- «*» toma los elementos de un array y los multiplica, elemento a elemento, a los elementos de otro array. Esto no es la multiplicación de la matriz, que tiene un requisito de forma de ambas matrices: El número de las columnas de la primera matriz tiene que ser igual a las filas de la segunda matriz.