Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity.

Informe múltiplos e-mails separados por vírgula.

imagem

Autoria: SILVA, M. A. S. da; MATOS, L. N.; MIRANDA JUNIOR, G. F.; SANTOS, F. E. de O.; DOMPIERI, M. H. G.; MOURA, F. R. de; RESENDE, F. K. S.

Resumo: Brazilian agricultural production presents high spatial diversity, challenging the conception of public policies. This article proposes an approach for grouping Brazilian municipalities according to their agricultural production. We combine a feature extraction using autoencoders and clustering based on k-means and Self-Organizing Maps. We used panel data from IBGE’s annual estimates of the production value of permanent and temporary crops, animal products, aquaculture, plant extractivism, forestry, planted areas, and herd population between 1999 and 2018. We analyzed different structures of simple stacked and incomplete autoencoders, varying the number of layers and neurons in each, and evaluated the asymmetric exponential linear loss function to handle the sparse data. We applied the Isomap, Kernel PCA, Truncated SVD, and MDS dimensionality reduction methods for comparative purposes. Results showed that the autoencoders could extract characteristics from the transformed raw data to allow the clustering of municipalities to reveal regional and even intra-regional patterns. The autoencoders improved comparative performance as the intrinsic dimensionality increased. A produção agrícola brasileira apresenta elevada diversidade espacial, o que desafia a concepção de políticas públicas. Este artigo propõe uma abordagem de agrupamento dos municípios brasileiros segundo sua produção agrícola. Combinamos extração de características utilizando autoencoders e clusterização baseada em k-médias e Mapas Auto Organizáveis. Utilizamos os dados em painel, entre 1999 e 2018, das estimativas anuais do IBGE sobre valor da produção de culturas permanentes, temporárias, produtos de origem animal, aquicultura, extrativismo vegetal, silvicultura, área plantada e efetivo de animais. Analisamos diferentes estruturas de autoencoders simples empilhados e incompletos, variando o número de camadas e neurônios em cada uma delas, e avaliamos a função de perda linear exponencial assimétrica para lidar com os dados esparsos. Comparamos os autoencoders com os métodos de redução de dimensionalidade Isomap, Kernel PCA, Truncated SVD e MDS. Os resultados mostraram que os autoencoders conseguiram extrair características dos dados brutos de forma a permitir a clusterização dos municípios revelasse padrões regionais e intra-regionais. Os autoencoders melhoram o desempenho comparativo à medida que a dimensionalidade intrínseca aumenta

Ano de publicação: 2023

Tipo de publicação: Artigo de periódico

Observações

1 - Por padrão são exibidas publicações dos últimos 20 anos. Para encontrar publicações mais antigas, configure o filtro ano de publicação, colocando o ano a partir do qual você deseja encontrar publicações. O filtro está na coluna da esquerda na busca acima. 

2 - Para ler algumas publicações da Embrapa (apenas as que estão em formato ePub), é necessário ter, no celular ou computador, um desses softwares gratuitos. Sistemas Android: Google Play Livros; IOS: iBooks; Windows e Linux: software Calibre.

 


Acesse outras publicações

Acesse a Base de Dados da Pesquisa Agropecuária (BDPA) para consultar o acervo completo das bibliotecas da Embrapa.