Funções de ativação: controlador de sinal

O neurônio artificial processa o sinal de entrada, esse sinal de entrada é ponderado pelos pesos sinápticos e o bias, após isso, a função de ativação, limitará esse sinal ponderado a um intervalo controlado, indicando quanto dele passará para o(s) próximo(s) neurônio(s), o inibindo (limite inferior ou próximo dele do intervalo), o ativando (limite superior ou próximo dele do intervalo) ou o graduando (valor intermediário do intervalo). Dependendo da estratégia de treinamento, natureza dos dados, tipo de RNA, diferentes tipos de funções de ativação podem ser necessárias. Abaixo estão as mais clássicas.

Função degrau binária

Está função tem uma alteração brusca nos valores de $y$ mudando sua saída para 0 ou 1, por isso o nome “binária”.

$$ f(x) = \begin{cases} 1, & \text{se } x \ge 0\\ 0, & \text{caso contrário} \end{cases} $$

Função de ativação degrau binária

Função degrau bipolar

Nesta função, os valores de $y$ mudam para 1 ou -1, por isso nome “bipolar”.

$$ f(x) = \begin{cases} 1, & \text{se } x \ge 0\\ -1, & \text{caso contrário} \end{cases} $$

Função de ativação degrau bipolar

Função gaussiana

Essa função tem uma aplicação específica nas redes neurais do tipo RBF (Radial Basis Function). Nesse tipo de rede, uma camada tem caráter de clusterização e para agrupamento dos dados faz use desse tipo de função de ativação.

$$ f(x) = e^{-\frac{(x - c)^2}{2\sigma^2}} $$

Função de ativação gaussiana

Função logística

A função logística tem $y$ limitado ao $(0, 1)$. Devido ao termo exponencial no denominador, ela tem subida bastante suave quando valores de $x$ aumentam. O ajuste do coeficiente $\beta$, interfere na curvatura, tornado sua suavidade maior ou menor.

$$ f(x) = \frac{1}{1 + e^{-\beta x}} $$

Função de ativação logística

Função rampa

Está função possui três partes, em duas delas, é constante, enquanto na terceira, é linear.

$$ f(x) = \begin{cases} a, & \text{se } x \gt a\\ x, & \text{se } -a \le x \le a \\ -a, & \text{se } x \lt a \end{cases} $$

Função de ativação rampa

Função relu

Relu é a abreviação para “Rectified linear unit”. Para qualquer entrada negativa, a função retorna o valor 0 e para valores maiores ou iguais a 0, ela retonar o próprio valor. Essa função é muito empregada nas camadas intermediárias de redes densas do tipo feedfoward como as redes MLP e Convolucionais, e também em camadas de convolução em redes Convolucionais.

$$ f(x) = \begin{cases} 0, & \text{se } x \lt 0\\ x, & \text{caso contrário} \end{cases} $$

Função de ativação relu

Função tagente hiperbólica

A função tagente hiperbólica tem $y\in(-1, 1)$. Ela possui curvatura muito semelhante a função logística e sua curvatura também é influenciada pela escolha do coeficiente $\beta$.

$$ f(x) = \frac{1 - e^{-\beta x}}{1 + e^{-\beta x}} $$ $$ \text{ou } f(x) = \frac{2}{1 + e^{-\beta x}} - 1 $$

Função de ativação tagente hiperbólica