Resultados negativos também importam

Esta uma postagem sobre uma pesquisa minha que está em desenvolvimento.


Neste artigo eu tentei analisar o impacto do Programa Saúde na Escola (PSE) sobre o consumo de bebidas alcoólicas entre os adolescentes em três aspectos: experimentação, idade de início do consumo e frequência do consumo.


Destaco que um dos objetivos do PSE é justamente prevenção e redução do consumo de bebida alcoólica. Então, basicamente o objetivo é verificar se o programa está cumprindo o que promete.


Eu usei os microdados da Pesquisa Nacional de Saúde do Escolar (PeNSE) de 2024 do IBGE, os dados mais atuais disponíveis sobre o tema.


Para inferir causalidade entre o programa e três aspectos do consumo de bebida alcoólica eu usei o método de Propensity Score Matching já que são dados observacionais de corte transversal.


Nos resultados foi identificado que o programa não tem efeito estatisticamente significativo. A conclusão foi de que não há evidências de que o programa esteja sendo uma estratégia efetiva nem de prevenção e nem de redução do consumo de álcool entre adolescentes.


Avaliar políticas públicas serve para mostrar quando as políticas funcionam e também quando elas não funcionam (que foi o caso desse trabalho em específico).


Gostaria de sugestões de melhoria para essa pesquisa e também saber como vocês tratam resultados negativos ou diferentes do esperado.


Esse trabalho vai ser apresentado em breve no VI Congresso Brasileiro de Saúde Pública (CONBRASP).



ArtigoPSE_manuscrito.pdf
6 comentários

A
Victor Rangel | @econometriafacil • 2 d
Excelente! Linkando aqui o @Sóstenes Azevedo e o @Pedro Filho que comentaram que são da área de saúde. Sobre esse resultado, achei bem importante de você trazer, inclusive por mostrar um resultado "negativo". Pesquisadores, principalmente os menos experientes, tendem a achar que o resultado significativo é o que importa, mas em Políticas Públicas um não resultado também é essencial para tomada de decisão.
4
Sóstenes Azevedo • 2 d
@Victor Rangel | @econometriafacil já deu a deixa. Isso é extremamente importante. Vitor pode falar mais, mas em economia e pp, parece que há um receio de mostrar resultados negativos, evidências de viés e nulidades. O que deveria ser praxe, já que saúde é um ecossistema complexo pra avaliarmos causalidade.
4
Luângela Freitas • 2 d
@Sóstenes Azevedo Exatamente!!
2
Fabio Motoki • 1 d
Realmente tem esse viés de só publicar resultado "significante", o que obviamente é uma grande besteira. Neste post tem uma lista de journals / coleções de artigos sobre null results https://bps.stanford.edu/home/null-hypothesis/null-hypothesis-journals-and-blogs. Tbm tem este paper to I4R q saiu do forno há pouco tempo discutindo o tema https://www.econstor.eu/bitstream/10419/336819/1/I4R-DP281.pdf
2
Fabio Motoki • 1 d
Especificamente sobre o seu trabalho, ele deve mostrar que a sua conclusão de um resultado "negativo" é razoavelmente segura. Então, vc tem q mostrar que este "não-resultado" sobrevive a testes de robustez relacionados a coisas como explicações alternativas, sub-amostras, diferentes períodos de tempo, etc (dependendo do seu contexto). De repente vc consegue reportar algo com mais nuance, do tipo algum efeito em um grupo, um efeito oposto no outro grupo, e na média o efeito é zero. De repente a coleção do PLOS ONE no link aí acima te ajuda a pensar nisso.
A3
Auberth • 1 d
@Fabio Motoki obrigado pelas sugestões, diferentes períodos de tempo infelizmente é inviável. Mas vou fazer os testes de robustez.

Entre para comentar

Abra no seu navegador

Você está no navegador do app. Por aqui não dá para instalar o app da comunidade, receber avisos nem entrar com o Google.