Nomenclaturas

É importante definir alguns símbolos que denotam um significado distinto às variáveis, às estimativas dessas e ao modelo de regressão.

• O é a variável dependente ou resposta;

• O é o valor da estimativa/predição;

• O indica o valor observado da observação , onde assume valores diferentes para cada observação do conjunto de dados;

• O é a média dos valores de da amostra;

• O é a variável independente ou explicativa/preditora. Podemos ter mais de um e poderíamos denotá-los como: . Como a ideia é focar na regressão simples, apenas um será usado;

• O indica o valor de da observação , onde assume valores diferentes para cada observação do conjunto de dados;

• O é a média dos valores de da amostra;

• é o modelo, ou seja, a função de ;

• é o erro do modelo (diferença entre o previsto e o observado);

• é o erro para cada observação;

• é o intercepto do modelo (ponto em onde a reta passa quando assume valor ). Caso a relação do modelo exista na realidade, o é o valor real da população;

• é o intercepto estimado da amostra;

• é o coeficiente angular do modelo (variação em com o aumento de uma unidade em ). Caso a relação do modelo exista na realidade, o é o valor real da população;

• é o coeficiente angular estimado da amostra;

Dados e a pergunta

Para desvendar os mistérios dessa tal regressão linear simples, vamos utilizar os dados de exemplo da Tabela 1. São apenas 6 linhas de dados, o que é bem pouco; porém, a ideia central é desenvolver a conta e, para facilitar isso, faz-se necessário um exemplo com poucos dados. Nesses dados, imaginamos que temos como variável a idade de diferentes pessoas e em a altura de cada uma em cm.

O primeiro passo é se perguntar: A idade das pessoas tem efeito na altura?

Essa pergunta, para ser respondida por meio da regressão, deve ser expressa em termos da equação como:

Como temos apenas uma variável , podemos criar um gráfico traçando a interseção entre o eixo das abscissas ou e o eixo das ordenadas ou (Figura 1) e verificar como os dados estão dispersos.

O que podemos analisar é que parece existir uma relação entre a idade e a altura. Parece que as pessoas mais velhas também são mais altas, pelo menos nessa amostra. Esse é um primeiro indício de que podemos fazer uma regressão com esses dados.

Estimando os s

Para estimar o utilizamos a Equação 7:

Aqui, observamos que no numerador temos o somatório do produto entre os desvios de e de . A ideia é verificar o quanto os valores observados estão distantes da média, para cada eixo, e depois multiplicar essas distâncias para observar se a relação é positiva ou negativa. Assim, obtém-se se a relação é de crescimento ou de decrescimento. Ao fim, soma-se tudo, pois o objetivo é usar todos os dados para obter uma única reta. Já no denominador temos os desvios de ao quadrado, o que serve para verificar o quanto varia de forma isolada. A divisão é como se tivéssemos o quanto e variam juntos dividido pelo quanto varia sozinho. Ao fim, o resultado é o quanto muda para cada unidade de mudança em .

Já para o é muito mais simples: basta isolá-lo e substituir o encontrado pela Equação 7 em Equação 8:

Mas também podemos encontrar o por meio da Equação 9.

No numerador temos o somatório dos valores observados de () multiplicado pelo somatório do quadrado dos valores observados de (), tudo isso menos o somatório dos valores observados de () multiplicado pela soma dos produtos de e (). Já no denominador temos o número de observações () multiplicado pelo somatório das observações de ao quadrado () menos o quadrado da soma de (). A ideia aqui é explicar quanto da altura da reta não se deve à inclinação ().

Estimando os betas do problema

A ideia é encontrar quais os melhores valores para e para com o menor erro possível. Para isso será utilizada a Equação 7 e a Equação 8.

Primeiro, calcula-se a média de e de :

Depois, iniciamos o cálculo do , e o primeiro passo é fazer a soma do produto dos desvios de cada observação em relação à média de e de . Graficamente podemos observar o que está sendo realizado, conforme a Figura 2.

O numerador para o tem o valor de e foi encontrado da seguinte forma:

Já para o denominador temos um valor de , encontrado com base no seguinte cálculo:

Agora, para encontrar o , basta fazer a divisão, que resulta em 5.86.

Para o é só fazer a substituição na equação de regressão (Equação 8) e obtemos o valor de 76.10.

Modelo final

Agora podemos descrever a equação completa (Equação 3) como:

E, graficamente, como na Figura 3, onde observamos o modelo e a equação que descreve a relação entre idade e altura para esses dados simulados. Um outro detalhe importante é que a regressão linear pelo método dos mínimos quadrados obrigatoriamente passará pela média de e de , o que também observamos na Figura 3 no cruzamento das linhas tracejadas.

Ainda nos falta calcular se o modelo serve para algo, o , os intervalos de confiança dos coeficientes e a significância dos betas, além de interpretar o modelo.

Análise de variância da regressão

Uma forma muito interessante de verificar se o modelo é útil é por meio da análise das variâncias. Interprete “útil” como um modelo que consegue explicar parte da variabilidade dos dados de forma superior a um modelo nulo, que utiliza apenas a média.

Para chegar a isso, podemos descrever a diferença entre os valores observados e a média como: a diferença entre o valor estimado e a média mais a diferença entre o valor observado e o estimado (Equação 14).

Em outras palavras, o primeiro componente após a igualdade na equação se refere ao modelo e ao quanto suas estimativas estão distantes do valor médio. Já a segunda parte diz respeito ao erro ou resíduo, que é o quanto da explicação não foi capturado pelo modelo (Figura 4).

Podemos elevar tudo ao quadrado e somar, obtendo assim a soma de quadrados. Essa também pode ser particionada, conforme a Equação 15. Assim teremos a soma de quadrados total , a soma de quadrados do modelo e a soma de quadrados do erro .

Coeficiente de determinação

Essa métrica é basicamente uma medida do efeito de em reduzir a variabilidade de . Pode ser obtida como na Equação 16, que é a soma de quadrados do resíduo dividida pela soma de quadrados total.

O varia entre e . O valor de é encontrado quando não existe relação linear entre e , ou seja, a variável não explica nada da variação de e a média de poderia ser utilizada como estimativa do valor mais provável. Já o valor de é encontrado quando explica toda a variação de . Nesse caso, é possível dizer que mudanças no valor de também têm efeito no valor de . Essa “força” pode ser observada na Figura 5.

Significância dos s do modelo

Como a variável dependente segue uma distribuição normal e as estimativas para e são obtidas por meio de uma função linear de , por consequência os coeficientes do modelo também possuem uma distribuição do tipo normal. Isso pode ser observado nas Equação 18 e Equação 19. Isso significa que, embora tenhamos as estimativas para a melhor reta, poderíamos ter infinitas retas passando entre os dados.

É possível simular o que seria isso. Partindo dos resultados da Equação 13, utilizo os valores de s para simular 1 mil retas de regressão mudando apenas o erro. Sabemos que em uma regressão linear os erros devem ser normais com média zero e um desvio padrão. Com isso, adiciono erros de forma pseudoaleatória na equação: e obtenho assim novas estimativas para . Agora, posso utilizar esse novo e realizar uma regressão com os valores de , calculando assim novas estimativas de e .

As animações abaixo mostram os resultados das simulações. Na imagem superior esquerda temos cada uma das 1000 linhas representando a reta de regressão calculada. Já na direita e na figura inferior da esquerda temos as distribuições de e , respectivamente. A linha sólida em preto é a distribuição teórica que cada estimador deveria assumir, já as barras representam os valores calculados por meio da simulação. Observamos que, de fato, as distribuições se assemelham a uma curva tipo sino e, portanto, assume-se que são “normais”.

Outra importante constatação é que a soma dos resíduos ao quadrado (em inglês RSS: residual sum of squares) dividida pela variância () dos erros assume uma distribuição do tipo chi-quadrado com graus de liberdade de , onde é número de amostras e o número de parâmetros do modelo. Para uma regressão linear simples será sempre , pois sempre há 2 parâmetros (intercepto e coeficiente angular). A distribuição dos resíduos ao quadrado pode ser observada na figura inferior da direita.

A partir do conhecimento de que os estimadores () possuem distribuição de probabilidade é possível realizar testes de hipóteses sobre suas estimativas. Boa parte do que torna valiosa a regressão é o teste de hipótese dos coeficientes do modelo.

Teste de significância para e

Talvez o teste de hipótese mais importante de uma regressão seja em relação ao coeficiente angular ou , que é o que responde à pergunta sobre se explica . Caso não seja diferente de , temos uma linha reta, onde a média de é suficiente para explicar sua variação e a variável é inútil.

Essa hipótese pode ser testada considerando:

A hipótese nula , ou a suposição inicial, é a de que não possui valor diferente de 0; já a alternativa é a de que o valor de é diferente de 0.

Para calcular isso, utiliza-se a estatística na forma representada pela Equação 20. Temos a diferença entre o estimado e o considerado como verdadeiro, dividida pelo desvio padrão do . Assume-se que essa razão possui uma distribuição do tipo de Student, logo queremos calcular uma estatística .

Mas utilizar a distribuição , pelo menos para mim, foi algo que levou tempo até entender. Mas agora sim, na Figura 6 é possível observar o que acontece quando se divide uma distribuição Normal por uma chi-quadrado… Justamente… uma distribuição T. Isso é representado de forma indireta na Equação 20.

O é o erro padrão do e pode ser escrito também como: , onde é o erro quadrático médio. Esse foi calculado na ANOVA (Tabela 2), mas basicamente se obtém como:

Já para o é um pouco mais complexo e utiliza a equação:

Teste de significância para e do problema

Como já descrito acima, o valor encontrado de do modelo foi de e de .

Primeiro para o : se lembrarmos, a expressão já foi calculada como denominador para encontrar o na Equação 7, onde obtivemos o valor de . Já o é dado por:

Logo:

Já para encontrar o valor da estatística para o , calcula-se:

Agora, basta verificar na distribuição qual a probabilidade de observar um valor de 7.7 ou mais extremo, e se esse valor está dentro da probabilidade de 5%, que é o nível alfa usual.

Na Figura 7 é plotada a distribuição com o valor crítico de para um nível de significância de 5% ou 0.05. O diz respeito ao valor na curva que limita nosso nível de significância, ou seja, para podermos dizer que algo foi significativo a 5% nessa curva, temos que obrigatoriamente observar um valor mais extremo que .

Como valor de observado (), temos o valor encontrado na Equação 23, que foi de , ou seja, o valor de é maior que o , portanto significativo a 5% de probabilidade de erro.

Também podemos dizer que a probabilidade de encontrar um valor de igual ao observado é de 0.153% (), ou ainda que, dentro de todos os possíveis valores de que podemos encontrar, o observado é pouco provável.

Para o , utiliza-se a Equação 21, mas primeiro vamos calcular o , conforme:

Com isso, agora calculamos o para o , como:

E, da mesma forma que para o , podemos visualizar a distribuição e a significância estatística (Figura 8). Também observamos um valor de mais extremo que o (), portanto afirmamos que para 5% de probabilidade de erro há diferença significativa.

Intervalo de confiança para resposta média do modelo

Como vou utilizar os mesmos valores de , os valores de já foram calculados em Equação 17. Também temos os desvios de em Equação 12, bem como o somatório, o crítico em Figura 7 e o em Equação 22. Os valores que vão mudar serão o e o desvio de (Equação 25 e Equação 26); isso é denotado na equação geral do IC com o índice .

e

Por fim, podemos plotar esses pontos e gerar as “bandas” ou a região de confiança (Figura 9).

Resultado final da análise

Agora, podemos descrever o resultado da análise em forma de texto, o que pode ser usado para descrever qualquer regressão.

Exemplo de descrição de resultado:

Para verificar o efeito da idade (variável independente) sobre a altura (variável dependente) foi realizada uma análise de regressão linear simples. O modelo teórico é dado por: .

O modelo é estatisticamente significativo e explica uma parte substancial da variância (). O efeito da idade foi significativo e positivo: a cada aumento de uma unidade na idade, a altura aumenta, em média, 5.86 cm ().

Sobre o intercepto, temos que ter cuidado. Nosso modelo diz que, para uma pessoa com idade igual a zero, a sua altura é de 76.1 cm (). A interpretação, nesse caso, deve ser baseada na área de conhecimento; neste exemplo, a menos que tenhamos um gigante, essa interpretação não faz sentido, já que, biologicamente, até onde sei, ao nascer (idade zero) as pessoas têm comprimento abaixo desse valor.

E isso tudo é resumido na Figura 10.

Então quer dizer que a idade ocasiona o aumento da altura? Ou seja, ficar velho te deixa alto?

Verificando a fonte

Após baixar e instalar a fonte, é necessário torná-la disponível para uso no R. Isso é feito carregando as fontes do sistema com a função abaixo:

# importar fontes
font_import()

Importing fonts may take a few minutes, depending on the number of fonts and the speed of the system.
Continue? [y/n] 

Exiting.

Após o carregamento, pode ser realizado o registro de fontes que ainda não foram registradas.

# registrar fontes
loadfonts(device = "win")

Agora, as fontes podem ser carregadas, e uma estrutura condicional pode ser feita para verificar se entre as fontes disponíveis está a DejaVu.

# Fontes detectadas no sistema
fonts <- system_fonts()

# estrutura lógica de seleção
if (any(fonts == "DejaVuSansCondensed")) {
  print("Fonte instalada!!")
}else{
  print("Fonte não encontrada!!")
}

[1] "Fonte instalada!!"

Cores

Para utilizar as cores, basta criar um vetor com os códigos hexadecimais (Figura 1).

cores <- c(
  "#9e2943",
  "#0a6c69",
  "#75a741",
  "#d18525",
  "#d86c67",
  "#5ab5b2",
  "#b1d369",
  "#711011",
  "#033a39"
)

Exemplo de uso

A seguir, apresento um exemplo de como tudo isso pode ser adicionado de forma simples aos gráficos.

Para ilustrar, criei dados fictícios de um experimento comum de dose e resposta. Neste exemplo, considero 9 tratamentos, com 10 repetições, 5 doses e uma variável chamada resposta. Os valores não possuem significado real, servindo apenas como exemplo.

Visualização

Para aplicar a fonte a todo o texto do gráfico, basta definir o nome da fonte na configuração de temas do {ggplot2}.

theme_minimal(base_family = "Dejavu Sans")

Caso, o tema utilizado seja o “base”, utilize:

theme(text = element_text(family = "Dejavu Sans"))

Já as cores podem ser adicionadas por meio de uma escala manual, passando o vetor como parâmetro de values na função scale_color_manual().

ggplot(df) + 
  aes(x = tratamento, y = resposta, col = as.factor(dose)) +
  stat_summary(
    geom = "errorbar",
    position = position_dodge(.5)
  ) +
  stat_summary(
    geom = "point",
    position = position_dodge(.5),
    size = 2
  ) +
  scale_color_manual(values = cores)

Além disso, a RBCS solicita que os gráficos sejam enviados em formato vetorial, como SVG. Para salvar um gráfico do {ggplot2} nesse formato, basta utilizar a função ggsave().

ggsave(filename = "fig_ex.svg", 
       width = 10, 
       height = 8, 
       units = "cm", 
       dpi = 950)

Abaixo, reúno os dados apresentados em três gráficos distintos, já utilizando as configurações da RBCS.

# ponto com barra de erro
p1 <- ggplot(df) +
  aes(x = tratamento, y = resposta, col = as.factor(dose)) +
  stat_summary(
    geom = "errorbar",
    position = position_dodge(.5)
  ) +
  stat_summary(
    geom = "point",
    position = position_dodge(.5),
    size = 2
  ) +
  scale_color_manual(values = cores) +
  labs(
    x = "Tratamento",
    y = "Resposta",
    col = "Dose",
    title = "Gráfico de pontos de exemplo"
  ) +
  theme_bw(base_size = 10, base_family = "Dejavu Sans")

# colunas
p2 <- ggplot(df) +
  aes(x = dose, y = resposta, fill = as.factor(tratamento)) +
  stat_summary(
    geom = "col",
    position = position_dodge()
  ) +
  scale_fill_manual(values = cores) +
  labs(
    x = "Dose",
    y = "Resposta",
    fill = "Tratamento",
    title = "Gráfico de barras de exemplo"
  ) +
  theme_bw(base_size = 10, base_family = "Dejavu Sans")

# linhas
p3 <- ggplot(df) +
  aes(x = dose, y = resposta, col = as.factor(tratamento)) +
  stat_summary(geom = "line", linewidth = 1) +
  scale_color_manual(values = cores) +
  labs(
    x = "Dose",
    y = "Resposta",
    col = "Tratamento",
    title = "Gráfico de linhas de exemplo"
  ) +
  theme_bw(base_size = 10, base_family = "Dejavu Sans")

pt1 <- (p1 | p2) + plot_layout(widths = c(.55, .45))

ptt <- pt1 / p3

# ggsave(filename = "exemplo_gra.png",
#        width = 10,
#        height = 8,
#        dpi = 1200)

Snippet rbcs

O vídeo abaixo mostra o processo de criação de um snippet baseado no código acima, como chamá-lo no script e, assim, automatizar as configurações de gráficos para a RBCS.

Agora, sempre que for necessário formatar gráficos de acordo com o padrão da RBCS, basta escrever rbcs e pressionar enter no RStudio: as configurações básicas já serão inseridas no código.

2.1 Como ela se ajusta?

Para encontrar a curva com o melhor ajuste, é utilizado o método dos mínimos quadrados. Isso significa que o método “encontra” qual das curvas retorna o menor valor para a soma dos quadrados. Essa soma dos quadrados é obtida calculando a diferença entre o valor observado e o valor predito, elevando essa diferença ao quadrado e, somando tudo.

Em outras palavras, esse método encontra “a curva que fica mais próxima dos dados observados”. É claro que a quantidade de matemática e estatística por trás de todo esse método é brutal. Aqui apresento apenas uma explicação superficial.

A Figura 2 mostra uma curva () com inclinação zero, que representa o intercepto na média dos valores de . Já em , temos o melhor ajuste possível para uma regressão linear. A primeira curva pode ser considerada um palpite inicial para explicar os dados, ou seja, utilizando o valor da média. A segunda é um avanço, onde passa a assumir valores dependendo de .

A animação abaixo mostra a reta de regressão assumindo diversos valores para e . É importante observar que ela começa com uma reta na média de e evolui até alcançar retas para além da mais adequada. Os valores da soma dos quadrados indicam que há uma inclinação que minimiza esse valor, enquanto inclinações anteriores ou posteriores fazem com que a soma dos quadrados aumente.

2.2 Variável categórica na regressão

Essa é a parte que mais me chama atenção.

Para que uma variável categórica entre na análise de regressão, ela passa por uma pequena transformação, tornando-se uma variável dummy.

Por definição, uma variável dummy assume apenas os valores ou , indicando a presença ou ausência de uma categoria. O número de variáveis dummy criadas é sempre igual a , onde é o número de categorias da variável.

Se tivermos grupos em nossa variável, então teremos variáveis dummy, como mostrado na Tabela 1. Nota-se que um dos grupos sempre terá o valor em ambas as dummies, pois serve como referência, e os demais grupos serão comparados a ele. Na Tabela 1, o grupo “A” é a referência inicial, mas para as demais comparações, é possível alterar o grupo de referência.

A equação de regressão geral pode ser descrita conforme Equação 1. Também podemos fazer uma equação para cada grupo (Equação 2, Equação 3 e Equação 4).

Equação grupo A:

Equação grupo B:

Equação grupo C:

Agora, repare como a Equação 2 é descrita apenas pelo intercepto, pois a variável de grupo assume o valor em todas as dummies (Tabela 1). Já para os demais grupos aparece na equaçao as dummies em que o valor é atribuído.

A interpretação de uma regressão com variáveis dummy é, basicamente, a diferença de média entre os grupos (semelhante a um teste de Tukey). Na Figura 3, podemos ver as médias dos grupos A, B e C e os respectivos s, que indicam a diferença entre elas. Essa diferença pode ser entendida como uma diferença angular, pois, se as médias são diferentes, forma-se um ângulo () entre as médias.

2.3 Requisitos/indicadores de qualidade para a regressão linear

Como um professor disse uma vez:

O grande perigo é a pessoa apenas saber fazer uma regressão.

Essa frase é uma crítica às pessoas que apenas sabem montar um modelo e sair interpretando. Uma interpretação útil surge de uma regressão bem feita, e, para isso, é necessário conhecer a qualidade do modelo gerado. Abaixo estão os principais critérios para avaliar como seu modelo se comporta.

3.1 Especificando o modelo

Nosso modelo teórico e sem interação pode ser representado como:

3.2 Resultado

A Tabela 3 mostra os resultados da regressão. Na tabela, a primeira coluna representa o intercepto ou a variável . A coluna “Beta” apresenta os coeficientes ajustados, seguida pelo intervalo de confiança para o coeficiente e, por fim, o valor de p.

3.3 Interpretação

O modelo criado (Tabela 4) tem um de , o que é considerado um valor “bom”. Todas as variáveis foram significativas (). A interpretação de cada variável é:

Cultivar: A Cultivar2 tem uma produtividade em média de 4,44 unidades a menos que a Cultivar1. Já a Cultivar3 tem produtividade média de 11,4 unidades a menos que a Cultivar1. Alterando a referência para a Cultivar2, observa-se que a Cultivar3 tem produtividade média de 7 unidades a menos que a Cultivar2

Dose: Com relação a dose, a cada aumento de uma unidade temos um aumento na produtividade de 0,103 unidades.

3.4 Indicadores de qualidade

3.4.1 Outliers

Na regressão linear, uma das maneiras de verificar se há dados influentes para o modelo é por meio da distância de Cook. Existem diferentes interpretações em relação aos valores de corte para considerar um valor influente. Aqui, utilizo o valor de como ponto de corte. Há discussões sobre o uso de valores limite para diagnósticos, mas, de qualquer forma, utilizar o limite de já é melhor que não fazer uma avaliação de outliers.

Podemos observar na Figura 4 que nenhum ponto se aproxima do valor de , portanto, aparentemente, não temos pontos discrepantes que possam prejudicar o modelo.

3.4.2 Normalidade dos resíduos e homocedasticidade

A Figura 5 mostra o QQ-plot dos resíduos. O ideal é que os pontos estejam dispostos perfeitamente em cima da reta, mas isso é praticamente impossível nas análises do dia a dia. Portanto, quanto mais próximos da linha, melhor. Não temos um ponto de corte ou métrica de qualidade específicos para o QQ-plot. Buscamos o melhor ajuste possível, dados os dados que temos.

Verificamos que há alguns desvios em relação à linha, mas, no geral, o resultado é satisfatório. Com isso, podemos concluir que os resíduos são aproximadamente normais. Além disso, tudo indica que não temos problemas com a homocedasticidade.

3.5 Representação gráfica do modelo

Na Seção 3.3 vimos quais foram os efeitos significativos do modelo, já na Seção 3.4 observamos que o modelo está adequado e explica bem os dados. Agora, criamos uma visualização gráfica para apresentar melhor os resultados. Poderia ter sido feito um gráfico com as médias dos grupos de cultivares, mostrando o intervalo de confiança e uma regressão com as doses, mas preferi representar dessa forma.

Análise dos títulos

Com os títulos, temos a nuvem de palavras. Essa visualização mostra as palavras mais frequentes nos títulos dos mais de mil artigos avaliados. Como esperado, ‘Solo’ e ‘Brasil’ são as palavras mais comuns. Em seguida, encontramos palavras como ‘produtividade’, ‘diferentes’, ‘nitrogênio’, ‘fósforo’ e assim por diante. Acredito que uma mensagem interessante aqui seja tentar evitar palavras óbvias. Embora seja desafiador, aumentar a diversidade nos títulos é uma prática enriquecedora.

Análise de N, P e K em títulos

Bem, como estou realizando meu doutorado com potássio, achei interessante verificar a frequência com que ele é mencionado nos títulos dos artigos. Surpreendentemente, ele é pouco mencionado. A Figura 3 mostra uma visualização do número de vezes que N, P e K aparecem nos títulos, tanto em português quanto em inglês. É interessante notar a disparidade significativa entre os elementos. Não sei se isso está relacionado à importância, à dificuldade de pesquisa ou a algum outro fator que possa explicar essa diferença. Acredito que ainda não tenhamos descoberto tudo o que podemos sobre nenhum desses elementos.

Figura 2: Número de vezes que N, P e K foram encontrados nos títulos dos artigos.

Ajuste da chave de acesso

Da planilha baixada do site, apenas a coluna que contém a chave de acesso da nota fiscal é relevante. Realizei uma pequena manipulação na planilha, removendo os espaços da coluna da chave de acesso, e a salvei como arquivo CSV.

library(tidyverse)

dados <- readxl::read_excel("Nota Fiscal Gaúcha.xlsx") |>
  janitor::clean_names() |>
  mutate(chave = chave_de_acesso |> str_remove_all(pattern = "\\s")) |>
  select(chave)

write.csv(x = dados, file = "notas/para_auto.csv")

Encontrando os pontos de clique

O procedimento que apresento aqui é baseado em um algoritmo que controla o mouse do computador, realizando cliques e movimentos programados. Como é de se esperar, é necessário fornecer as coordenadas para guiar os movimentos. Essa é uma tarefa manual, porém, é realizada apenas uma vez e se aplica a todas as notas (baixei mais de 200 notas).

Utilizei o MouseInfo para identificar os pontos. Após abrir o console do python (melhor fazer pelo console) é só dar os seguintes comandos:

from mouseinfo import mouseInfo

mouseInfo()

O vídeo abaixo demonstra o funcionamento do MouseInfo, exibindo as marcações das coordenadas x e y à medida que o mouse é movido.

Para encontar os ponto certo basta realizar um teste com o MouseInfo aberto. Abra o site onde as notas serão baixadas e identifique os pontos onde será necessário realizar os cliques. O atalho F6 pode ser utilizado no MouseInfo para marcar as pontos x e y. Siga os passo:

1º Passo: Clique em avançar e depois em imprimir Figura 2

2º Passo: Clique em imprimir na parte do pdf Figura 3

3º Passo: Clique em salvar Figura 4

Por padrão, o Windows salva na pasta de downloads, mas é possível alterar para a pasta desejada. Basta encontrar o ponto de clique e realizar a mudança de destino.

Resultado

O vídeo exibe o “robô” em ação, realizando a impressão e salvando automaticamente cada uma das notas. Na minha análise, as 205 notas que obtive foram processadas em quase 21 minutos, o que equivale a ~6 segundos por nota (Um computador melhor fará em menos tempo). E você, ocupado com diversas tarefas, conseguiria realizar isso de maneira mais rápida? Mesmo ao atingir a nota de número 100 e perceber que ainda falta mais da metade. Se acha que não, a resposta para isso é simples: programação!

E agora, o que fazer com essas notas? Começar a extrair os dados manualmente? Pagar alguém para fazer? Excluir do computador e dar um ponto final?

A resposta óbvia é sim, dar um ponto final e excluir. No entanto, se ainda assim você deseja extrair informações dos seus dados, eu aconselho a conferir um próximo post (no futuro), no qual explico o que fazer com as notas.

Dados

Os dados do número de trabalhos está na página de Trabalho Aprovados no site. A captura dos dados foi realizada com o endereço eletrônico da página. Um avaliação prévia de como se conportava a página e como os dados aparaciam foi realizada.

primeira_parte <- "https://solosfloripa2023.com.br/evento/solos2023/trabalhosaprovados?titulo=&autor=&t1area_id="

id <- c(1, 2, 3, 8, 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15, 16)

segunda_parte <- "&modeloformaapresentacaofinal_id=&btBuscar=Buscar"

Um loop foi realizado para remover os dados de cada uma das áreas e subareas.

df <- as.data.frame(x = 1:length(id))
for (i in 1:16) {
  dados <- httr::GET(paste0(primeira_parte, id[i], segunda_parte))
  get_content <- httr::content(dados)

  raw_table <- get_content |>
    rvest::html_nodes(".container-fluid")

  df[i, ] <-
    raw_table[[3]] |>
    rvest::html_text() |>
    strsplit("\n") |>
    unlist() |>
    enframe(name = NULL, value = "linha") |>
    dplyr::filter(stringr::str_detect(linha, pattern = ".*registro"))
}

Além de captar as iformações, foi realizado um processamento e manipulação para organizar os dados.

divi <- raw_table[[3]] |>
  rvest::html_text() |>
  strsplit("\n") |>
  unlist() |>
  enframe(name = NULL, value = "linha") |>
  dplyr::filter(stringr::str_detect(linha, pattern = " TODASDivisã")) |>
  str_split(pattern = "Di", simplify = T) |>
  as.data.frame() |>
  pivot_longer(cols = 2:17, names_to = "Divi", values_to = "nome") |>
  filter(Divi != "V1") |>
  mutate(di = "Di") |>
  transmute(Divi = paste(di, nome, sep = ""))


d_final <- cbind(divi, df)

dados.ok <- d_final |>
  mutate(
    partici = str_extract(`1:length(id)`,
      pattern = "[:digit:]{1,}"
    ),
    partici = as.numeric(partici)
  ) 


comi <- str_split(d_final$Divi, ":")
data_separado <- data.frame(do.call(rbind, comi))

df_ok <- cbind(data_separado, dados.ok)

df_ok <- df_ok |> mutate(remover = str_sub(df_ok$X2, start = 16, end = 90))

font_add("Didot", "GFS_Didot/GFSDidot-Regular.ttf")

showtext_auto()

Trabalhos dentro de cada divisão

df_ok |>
  filter(X1 == "Divisão 1 – Solo no espaço e no tempo") |>
  ggplot(aes(y = partici, x = fct_reorder(remover, partici))) +
  coord_flip() +
  geom_col(fill = "#ef8118", col = "#bc6a1d") +
  # facet_wrap(~X1, scales = "free") +
  labs(
    x = NULL, y = "Nº de trabalhos",
    title = 'Resumos no <span style = "color:#ef8118"> XXIII CLACS | XXXVIII CBCS </span>',
    subtitle = "Divisão 1 – Solo no espaço e no tempo"
  ) +
  geom_text(aes(label = partici), nudge_y = -2, col = "black", size = 5) +
  theme_minimal(24) +
  theme(
    text = element_text(family = "Didot"),
    plot.title = ggtext::element_markdown()
  )

df_ok |>
  filter(X1 == "Divisão 2 – Processos e Propriedades do Solo") |>
  ggplot(aes(y = partici, x = fct_reorder(remover, partici))) +
  coord_flip() +
  geom_col(fill = "#ef8118", col = "#bc6a1d") +
  # facet_wrap(~X1, scales = "free") +
  labs(
    x = NULL, y = "Nº de trabalhos",
    title = 'Resumos no <span style = "color:#ef8118"> XXIII CLACS | XXXVIII CBCS </span>',
    subtitle = "Divisão 2 – Processos e Propriedades do Solo"
  ) +
  geom_text(aes(label = partici), nudge_y = -4, col = "black", size = 6) +
  theme_minimal(24) +
  theme(
    text = element_text(family = "Didot"),
     plot.title  = element_markdown()
  )

df_ok |>
  filter(X1 == "Divisão 3 – Uso e Manejo do Solo") |> 
mutate(remover = factor(remover, levels = c(
  " Fertilidade do Solo e Nutrição de Plantas",
  " Corretivos e Fertilizantes", 
  " Manejo e Conservação do Solo e da Água", 
  " Planejamento do Uso da Terra", 
  " Poluição, Remediação do Solo e Recuperação de Áreas Degradadas"
), labels = c(
  "Fertilidade do Solo e \n Nutrição de Plantas",
  "Corretivos e Fertilizantes",
  "Manejo e Conservação \n do Solo e da Água",
  "Planejamento do Uso da Terra",
  "Poluição, Remediação do Solo e \n Recuperação de Áreas Degradadas"
))) |>
  ggplot(aes(y = partici, x = fct_reorder(remover, partici))) +
  coord_flip() +
  geom_col(fill = "#ef8118", col = "#bc6a1d") +
  # facet_wrap(~X1, scales = "free") +
  labs(
    x = NULL, y = "Nº de trabalhos",
    title = 'Resumos no <span style = "color:#ef8118"> XXIII CLACS | XXXVIII CBCS </span>',
    subtitle = "Divisão 3 – Uso e Manejo do Solo"
  ) +
  geom_text(aes(label = partici), nudge_y = -13, col = "black", size = 6) +
  theme_minimal(24) +
  theme(
    text = element_text(family = "Didot"),
    plot.title = element_markdown()
  )

df_ok |>
  filter(X1 == "Divisão 4 - Solo, Ambiente e Sociedade") |>
  mutate(remover = factor(remover, labels = c(
    "Educação em Solos e \n Percepção Pública do Solo",
    "História, Epistemologia e \n Sociologia da Ciência",
    "Solos e Segurança Alimentar"
  ))) |>
  ggplot(aes(y = partici, x = fct_reorder(remover, partici))) +
  coord_flip() +
  geom_col(fill = "#ef8118", col = "#bc6a1d") +
  # facet_wrap(~X1, scales = "free") +
  labs(
    x = NULL, y = "Nº de trabalhos",
    title = 'Resumos no <span style = "color:#ef8118"> XXIII CLACS | XXXVIII CBCS </span>',
    subtitle = "Divisão 4 - Solo, Ambiente e Sociedade"
  ) +
  geom_text(aes(label = partici), nudge_y = -2, col = "black", size = 6) +
  theme_minimal(24) +
  theme(
    text = element_text(family = "Didot"),
     plot.title  = element_markdown()
  )

Trabalhos entre as divisões

De forma geral, observa-se que a maioria dos trabalhos submetidos e apresentados no evento pertence à divisão científica 3 – Uso e Manejo do Solo, totalizando 829 trabalhos. Em contrapartida, a divisão 4 – Solo, Ambiente e Sociedade apresentou o menor número de trabalhos, com apenas 58.

df_ok |>
  group_by(X1) |>
  summarise(soma = sum(partici)) |>
  mutate(
    X1 = factor(X1, labels = c(
      "Divisão 1 – Solo no \n espaço e no tempo",
      "Divisão 2 – Processos e \n  Propriedades do Solo",
      "Divisão 3 – Uso e \n Manejo do Solo",
      "Divisão 4 - Solo, \n Ambiente e Sociedade"
    )),
    total = sum(soma)
  ) |>
  ggplot(aes(y = soma, x = fct_reorder(X1, soma))) +
  coord_flip() +
  geom_col(fill = "#ef8118", col = "#bc6a1d") +
  # facet_wrap(~X1, scales = "free") +
  labs(
    x = NULL, y = "Nº de trabalhos",
    title = 'Resumos no <span style = "color:#ef8118"> XXIII CLACS | XXXVIII CBCS </span>',
    subtitle = "Total por divisão"
  ) +
  geom_text(aes(label = soma), nudge_y = -32, col = "black", size = 6) +
  theme_minimal(24) +
  theme(
    text = element_text(family = "Didot"),
    plot.title = element_markdown()
  )