• Português
  • English
  • Español
  • Classificadores de Credit Scoring: ilusão de progresso e discussão de métodos de classificação

    Por: em 31 de março de 2018

    Conceito do ciclo de concessão de crédito e o uso do credit scoring

    A concessão de crédito é a base das economias capitalistas modernas, pois permite uma multiplicação da moeda em circulação. Se pelo ponto de vista das empresas o crédito viabiliza crescimento via investimentos maiores do que o simples uso de capital próprio, pelo ponto de vista dos consumidores, o crédito acelera a capacidade de consumo e aumenta o seu poder de compra. Como consequência, a sociedade passa a ter uma economia virtualmente maior do que ela é em termos reais.

    Assim, o crédito surge por meio de um ciclo virtuoso baseado em captação, empréstimo, pagamento e remuneração. O esquema na Figura 1 exemplifica esse ciclo supondo um banco que faz empréstimo apenas para consumidores e capta recursos apenas por meio de correntistas.

    Figura 1: Ciclo virtuoso de crédito

    Nesse ciclo, a interrupção do pagamento por parte do consumidor provoca a quebra do ciclo virtuoso do crédito. A ausência do pagamento de alguns dos consumidores está prevista como um custo inerente ao empréstimo, mas o aumento da inadimplência pode, de fato, causar a quebra do ciclo.

    credit scoring é uma ferramenta usada para mensurar o nível de risco do proponente e subsidiar a decisão de aprovação do crédito. De forma bastante simplista, o risco de crédito é mensurado pela probabilidade de inadimplência (probability of default ou PD) que por sua vez é estimada com base nas características do proponente e da proposta. Na literatura acadêmica existem diversos trabalhos que mostram diferentes metodologias para estimar essa probabilidade. Alguns exemplos são análise discriminante (Durant, 1941), regressão linear ordinária (Orgler, 1970 e 1971), programação linear (Hand, 1981; Kolesar e Showers, 1985), regressão por árvore (Makowiski, 1985; Coffman, 1987), Expert systems (Zocco, 1985; Davis, 1987), redes neurais (Rosenberg e Gleit, 1994), métodos de suavização não paramétrica (Hand, 1986), análise de sobrevivência (Banasik et al., 1999) e regressão logística (Wiginton, 1980). Baesens et al. (2003) e depois Lessmann et al. (2015) fazem duas grandes revisões e comparações de técnicas em dados reais de crédito.

     

    A ilusão de progresso da metodologia de credit scoring

    Apesar de vários trabalhos acadêmicos que mostram caminhos de evolução dos modelos de credit scoring, o mercado tem uma evolução tímida e bastante freada pelo status quo. Entretanto, Gaylor (2006), discutindo o trabalho de Hand (2006), afirma que a falta de adoção de técnicas mais modernas não deve ser totalmente associada ao excesso de conservadorismo do mercado. Em algumas situações, apesar dos ganhos de desempenho, a praticidade de uso e de implantação são fatores relevantes.

    Um primeiro ponto que o autor levanta é a forma de captação de variáveis explicativas. De maneira geral, as informações disponíveis no desenvolvimento dos modelos são circunstanciais e não estão relacionados com a inadimplência por meio de uma relação causal. Assim, modelos de credit scoring incorporam correlações de variáveis explicativas com a variável resposta, ao invés de uma relação de causa-efeito. Consequentemente, a qualidade dos dados tende a ser preterida em relação à variedade de variáveis. Os problemas de ruídos e inconsistências podem prejudicar consideravelmente o desempenho dos modelos, principalmente no médio e longo prazo.

    Gaylor (2006) aponta ainda que apesar do credit scoring ser usualmente tratado como um problema de classificação, ele deveria ser visto como um problema de regressão. A principal questão que justifica essa diferença de abordagem é a forma de uso docredit scoring pelas instituições financeiras (IFs). A regressão permite a IF a ajustar a proporção de aprovados pelo processo de concessão, trabalhando no controle do trade-off de resultado versus volume de empréstimos.

    A terceira questão discutida pelo autor recai sobre os graus de liberdade do “modeleiro” (tradução direta do inglês modeller). O objetivo de toda técnica de modelagem é encontrar uma função matemática que resulte na melhor aproximação dos dados, mantendo a capacidade de generalização dessa função. No limite, toda técnica pode chegar no mesmo desempenho, mas o esforço para se atingir esse resultado varia consideravelmente entre técnicas. Um “modeleiro” habilidoso adiciona graus de liberdade na medida que consegue tem ideias e identificar padrões além daqueles proporcionados pela técnica. Nesse cenário, as metodologias se diferenciam não pelo desempenho cru, mas sim pelo nível de esforço exigido do “modeleiro” para atingir um determinado resultado em termos de qualidade de ajuste.

    Gaylor (2006) e Hand (2006) discutem também a arbitrariedade nas decisões de modelagem e quão sensíveis são os modelos. Provavelmente a definição fundamentalmente mais arbitrária que é adotada nos modelos de credit scoring seja a escolha do conceito de inadimplente. Como via de regra, utiliza-se a definição de “todo cliente que atingir 90 dias de atraso nos 12 primeiros meses após a contratação do crédito, deve ser considerado inadimplente”. No mercado, critérios diferentes devem ser justificados, mas esse critério é aceito sem questionamentos.

    No processo de modelagem usual, predominantemente calcado em regressão logística, outras arbitrariedades são comuns como: garantir informações de fontes variadas, ainda que isso reduza o desempenho geral do modelo; categorização de variáveis explicativas, ao invés de usar variáveis contínuas com pequenos ajustes de controle de linearidade e efeito de outliers; correlação máxima entre covariáveis e um valor limite do VIF (Variance Inflation Factor).

    Hand (2006) menciona ainda que a amostra utilizada no desenvolvimento dos modelos de credit scoring não são provenientes da mesma distribuição que o ambiente de operação. Esse problema é conhecido como viés de seleção e pode ser devido a política de aprovação do crédito ou às mudanças no mercado de crédito com o passar do tempo. Uma maneira razoavelmente direta de se resolver isso é utilizando amostras de controle para o primeiro problema e modelos dentro de um framework de online learningpara o segundo problema.

    Hand (2006) apresenta alguns exemplos de relações com alto nível de interação de efeitos, mas que essas situações são incomuns na vida real. Esse argumento suporta o uso de métodos de regressão através da combinação de efeitos aditivos, sejam lineares ou não lineares. Nas IFs se um método automático de identificação de interações gera resultados não tradicionais, a prática atual é limitar intencionalmente o uso das interações promovendo a adoção de efeitos marginais nos modelos. O efeito desse viés de conduta visa garantir modelos de credit scoring simples.

    Por fim, Hand (2006) argumenta que o viés conservador dos “modeleiros” embarcam um conhecimento relacionado à antecipação de mudanças de sistemas, processos e dados na concessão de crédito. Por esse motivo, os modelos de credit scoring tendem a ser mais simples, seja através de árvores de decisão ou, mais comumente, por meio de modelos de regressão logística ou linear.

     

    O método tradicional: regressão logística via stepwise

    Apesar desse conservadorismo por parte dos “modeleiros”, existem algumas técnicas modernas que são adicionais à regressão logística e melhoram os resultados de diversas maneiras. Primeiramente, vamos fazer uma breve explicação sobre a regressão logística. Como um modelo linear nos parâmetros, ele pode ser escrito como uma combinação linear de variáveis explicativas que se relacionam com o target através de uma função ligação. No caso da regressão logística temos:

    Onde  é a variável resposta sendo  uma marcação quando o i-ésimo cliente é inadimplente  é o vetor de variáveis explicativas associadas ao cliente e β é o vetor de parâmetros, ou pesos. Nessa notação,  é o parâmetro associado à k-ésima variável dentre p variáveis explicativas. O método de estimação mais convencional é o método de máxima verossimilhança. A função a ser maximizada é construída a partir da função de distribuição de probabilidade conjunta de uma amostra provinda de uma distribuição de Bernoulli. Para se estimar o vetor de parâmetros β é feita a maximização da função de log-verossimilhança do modelo logístico, conforme expressão abaixo.

    O processo de maximização da verossimilhança, com respeito a β, nos permite encontrar os parâmetros do modelo que devem ser usados no processo de estimação da PD.

    Como via de regra, o processo de seleção de variáveis é baseado no método de stepwise que sofre duras críticas de cunho filosófico fundamental. Pereira et al. (2017) mencionam que todo teste de hipótese baseado em p-valor apresenta uma inconsistência, ou paradoxo, que é a relação entre a decisão do teste e o tamanho de amostra. Pode se dizer que caso se queira que uma hipótese seja rejeitada basta aumentar o tamanho da amostra. Os autores propõem um novo método para um teste de hipótese que leva em conta ao tamanho da amostra. O problema foi resolvido para o caso de um teste de um experimento de Bernoulli, mas ainda essa metodologia não foi desenvolvida para outros modelos como a regressão logística.

     

    A solução bem estabelecida: LASSO-logistic

    A inclusão de uma componente de regularização na função de verossimilhança (com aproximação quadrática, conforme Hastie et al., 2001 cap. 4.4.3) é uma inclusão de restrição no processo de estimação do vetor de parâmetros de β. A regularização , também chamada de LASSO, coloca um limite para a norma do vetor de parâmetros. Em outras palavras, a nova função perda que deve ser minimizada é dada por:

    Onde  é a componente de regularização e λ, com λ > 0, é o multiplicador de Lagrange usado na minimização da expressão. Uma interpretação geométrica dessa restrição é dada pela Figura 2.

    Figura 2: Representação geométrica da regularização L1 ou LASSO.

    A regressão logística sem regularização tem um problema de convexidade que métodos de seleção baseados em p-valor, como ostepwise, não resolvem. Entretanto, a simples regularização L1 corrige o problema de convexidade e permite que a seleção de variáveis seja feita sem esbarrar na questão de inconsistência do p-valor. Ainda por tratar o problema de convexidade, o LASSO elimina o problema de multicolinearidade. Penalizar a função de verossimilhança por meio do controle de  , significa penalizar grandes valores de  se não houver uma contribuição que aumente a verossimilhança significativamente.

    Apesar do LASSO tratar a questão de convexidade e seleção de variáveis sem a inconsistência do p-valor, Takada et al. (2017) levantam o questionamento sobre o problema de interpretação dos efeitos das variáveis explicativas com relação ao target. Em resumo, uma análise ceteris paribus é irreal já que, se , o efeito da variável  está diluído entre os parâmetros  por causa do efeito de confundimento.

    Um novo método promissor: IILASSO-logistic

    No Datalab, estamos implementando e testando a metodologia proposta por Takada et al. (2017), chamada IILASSO (Independent and Interpretable LASSO), queprevê a inclusão de mais um termo de penalização na função de verossimilhança que está relacionado com a matriz de correlações. Dessa maneira, a expressão minimizada pode ser descrita conforme abaixo.

    Onde  é o vetor do módulo dos parâmetros e é uma matriz simétrica com componentes  definidos a seguir.

    Takada et al. (2017) mostram outras duas alternativas de matrizes, mas essa forma faz com que a medida que  e o IILASSO não seleciona as variáveis j e k simultaneamente. Esse termo adicional faz com que a região de restrição seja alterada, de acordo com a correlação entre as variáveis explicativas. A Figura 3 mostra como a região é alterada considerando, da esquerda para a direita,  ,    e , ou seja,  .

    Figura 3: Representação geométrica do IILASSO considerando, da esquerda para a direita, penalizações de 

    Dessa maneira, o IILASSO adiciona uma restrição que garante a interpretação ceteris paribus, tão desejada pelos “modeleiros” de crédito, além de incorporar as vantagens do LASSO. As discussões feitas aqui concordam com a conclusão de Lessmann et al. (2015) que afirmam que o conservadorismo em termos de técnica é fruto de um bloqueio psicológico, já que existem métodos alternativos com propriedades melhores, como apresentado aqui, e métodos com desempenhos melhores, como apresentado em Lessmann et al. (2015).

     

    Saiba mais

    Ilusão de progresso: Os artigos de Hand e Gaylos, ambos de 2006, são bastante acessíveis e discutem, de uma perspectiva filosófica e argumentativa, os pontos de fragilidade nos métodos de modelagem em credit scoring. Apesar dos artigos terem mais de 10 anos, boa parte dos argumentos continua válida.

    Métodos de modelagem: O artigo de Lessmann et al. (2015) faz uma comparação extensiva de cerca de 40 métodos, em 8 bases de dados reais e serve de benchmark metodológico em termos de desempenho prático das técnicas apresentadas.

    LASSO: O usuário de Python pode encontrar explicações e exemplos de códigos no tutorial do Sci-kit learning (http://scikit-learn.org/stable/modules/linear_model.html#lasso). Usuário de SAS pode encontrar explicações e exemplos de códigos implementados
    no PROC NLMIXED em http://support.sas.com/kb/60/240.html.

    IILASSO: O modelo foi proposto em novembro/2017 por Takada et al. e deve ter sua implementação em R divulgada pelos autores em abril/2018.

    Bibliografia

    Baesens, B., Van Gestel, T., Viaene, S., Stepanova, M., Suykens, J., & Vanthienen, J. (2003). Benchmarking state-of-the-art classification algorithms for credit scoring. Journal of the operational research society54(6), 627-635.

    Lessmann, S., Baesens, B., Seow, H. V., & Thomas, L. C. (2015). Benchmarking state-of-the-art classification algorithms for credit scoring: An update of research. European Journal of Operational Research247(1), 124-136.

    Gayler, R. W. (2006). Comment: Classifier Technology and the Illusion of Progress: Credit Scoring. Statistical science21(1), 19-23.

    Hand, D. J. (2006). Classifier technology and the illusion of progress. Statistical science, 1-14.

    Pereira, C. A. D. B., Nakano, E. Y., Fossaluza, V., Esteves, L. G., Gannon, M. A., & Polpo, A. (2017). Hypothesis Tests for Bernoulli Experiments: Ordering the Sample Space by Bayes Factors and Using Adaptive Significance Levels for Decisions. Entropy19(12), 696.

    Takada, M., Suzuki, T., & Fujisawa, H. (2017). Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables. arXiv preprint arXiv:1711.01796.

    Friedman, J., Hastie, T., & Tibshirani, R. (2001). The elements of statistical learning (Vol. 1, pp. 337-387). New York: Springer series in statistics.

    31 de março de 2018

    Filtre por mês

    Filtre por autor