O que é o Saeb?

Criado em 1988, o Saeb é uma ação do Governo Brasileiro, desenvolvido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep, na sua Diretoria de Avaliação da Educação Básica – Daeb, sendo um dos mais amplos esforços empreendidos em nosso País no sentido coletar dados sobre alunos, professores, diretores de escolas públicas e privadas em todo o Brasil.

O Saeb é aplicado a cada dois anos, desde 1990 e avalia o desempenho dos alunos brasileiros da 4ª e da 8ª séries do ensino fundamental e da 3ª série do ensino médio, nas disciplinas de Língua Portuguesa (Foco: Leitura) e Matemática (Foco: resolução de problemas).

Quais os objetivos do Saeb?

A partir das informações do Saeb, o MEC e as Secretarias Estaduais e Municipais de Educação podem definir ações voltadas para a correção de distorções e debilidades identificadas e direcionar seus recursos técnicos e financeiros para áreas prioritárias, visando ao desenvolvimento do Sistema Educacional Brasileiro e à redução das desigualdades existentes nele.

Desta forma, o Saeb objetivo oferecer subsídios para a formulação, reformulação e monitoramento de políticas públicas, contribuindo, dessa maneira, para a ampliação da qualidade do ensino brasileiro.

Quantas escolas, alunos, professores e diretores participaram do Saeb 2003?

Em 2003, participaram do Saeb cerca de 300 mil alunos, 17 mil professores e 6 mil diretores de 6.270 escolas das 27 unidades das Federação. Além desses, perto de 4 mil pessoas, entre aplicadores dos testes, supervisores e funcionários das Secretarias de Educação Estaduais trabalharam nessa aplicação.

A participação no Saeb é voluntária?

A participação no Saeb é voluntária. Cabe ressaltar, porém, que o comprometimento dos participantes é fundamental para a qualidade dos resultados apurados.

Quais instrumentos são utilizados pelo Saeb?

O Saeb utiliza dois instrumentos, a saber:

• testes, pelos quais são medidos os desempenhos dos alunos nas disciplinas de Língua Portuguesa (Foco: Leitura) e Matemática (Foco: Resolução de problemas);
• questionários, pelos quais são coletadas informações sobre o contexto social, econômico e cultural dos alunos, e ainda sobre a trajetória de sua escolarização. Professores e diretores também são convidados a responder questionários que possibilitam conhecer a formação profissional, práticas pedagógicas, nível socioeconômico e cultural, estilos de liderança e formas de gestão. São coletadas, ainda, informações sobre o clima acadêmico da escola, clima disciplinar, recursos pedagógicos disponíveis, infra-estrutura e recursos humanos. Na mesma ocasião é preenchido, pelo aplicador dos testes, um formulário sobre as condições de infra-estrutura das escolas que participam da avaliação.

O que é a Matriz de Referência?

As Matrizes de Referência são um documento onde estão descritas as orientações para a elaboração dos itens dos testes do SAEB.

Para sua composição foi realizada uma consulta às propostas curriculares dos Estados brasileiros, alcançando-se uma síntese do que havia de comum entre elas. Todavia, como se sabe, há uma grande distância entre o currículo proposto e o ensinado de fato. Por isso, o INEP consultou professores das capitais brasileiras regentes das redes municipal, estadual e privada na 4ª e 8ª série do Ensino Fundamental e na 3ª série do Ensino Médio, nas disciplinas de Língua Portuguesa e Matemática, e ainda, examinou os livros didáticos mais utilizados nas mesmas redes e séries, para validar a listagem inicial.

Em seguida, foram incorporadas análises de professores e especialistas nas áreas do conhecimento avaliadas pelo Saeb. Decorrente destas análises, a opção teórica adotada é a que pressupõe a existência de competências cognitivas e habilidades a serem desenvolvidas pelo aluno no processo de ensino-aprendizagem. Os conteúdos associados às competências e habilidades desejáveis para cada série e ainda, para cada disciplina, foram subdivididos em partes menores, cada uma especificando o que os itens das provas do Saeb devem medir, estas unidades são denominadas “descritores”.

Cada descritor dá origem a diferentes itens e, a partir das respostas dadas a eles, verifica-se o que os alunos sabem e conseguem fazer com os conhecimentos adquiridos.

Como são elaborados os testes do Saeb?

São elaboradas com base nas Matrizes de Referência, validadas nacionalmente. Essas matrizes reúnem o conteúdo a ser avaliado em cada disciplina e série, informando as competências e habilidades esperadas dos alunos (em seus diversos níveis de complexidade). Para a elaboração das Matrizes de Referência, optou-se pela definição de descritores. Esses, por sua vez, traduzem uma associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelos alunos. Os descritores, portanto, especificam o que cada habilidade implica e são utilizados como base para a construção dos itens das testes das diferentes disciplinas. No Saeb 2001, descritores e itens foram selecionados de forma a refletir a natureza das operações mentais que caracterizam cada uma das competências e habilidades definidas como relevantes.

Qual o formato dos testes do Saeb?

Seu formato é de questões fechadas (de múltipla escolha). São aplicados 169 itens em cada série e disciplina, de forma a cobrir toda a Matriz de Referência. Esse conjunto de itens é dividido em 13 blocos compostos por 13 itens. Os blocos são agrupados, então, de três em três, formando 26 cadernos diferentes de prova. Assim, apesar de se estar avaliando um amplo escopo de conteúdos, cada aluno responde a apenas 39 questões.

Quem é responsável pelo Saeb?

O Ministério da Educação, por meio da Diretoria de Avaliação da Educação Básica (Daeb) do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Cumpre destacar que todo o trabalho conta com a participação das Secretarias Estaduais de Educação.

Quem é responsável pela aplicação dos testes do Saeb?

A partir de 1995, o MEC/Inep deu início à realização de processos de licitação para seleção de instituições com experiência nas áreas de educação, pesquisa e avaliação, bem como na realização de concursos.

Quem aplica os testes e os questionários do Saeb?

Os testes e os questionários são aplicados por profissionais especialmente contratados e capacitados para essa atividade. Eles utilizam procedimentos padronizados e controlam o tempo da aplicação dos instrumentos utilizados pelo Saeb.

Qual é a participação das Secretarias Estaduais de Educação no Saeb?

As Secretarias Estaduais de Educação são o elo de ligação do MEC/Inep com todas as escolas da amostra, sejam estaduais, municipais ou particulares, e ajudam a articular a aplicação da prova no estado. Participam também no processo de construção da amostra, realizando uma consulta a cada uma das escolas selecionadas, visando à atualização dos dados cadastrais e à listagem de todas as suas turmas.

E das Secretarias Municipais?

As Secretarias Municipais de Educação verificam se os dados das escolas selecionadas conferem com as informações do Censo Escolar e comunicam às escolas a sua participação no Saeb. Servem também de elo entre as Secretarias Estaduais de Educação e as escolas da rede municipal.

Como foi definida a amostra do Saeb 2003?

A população de referência do Saeb 2003, da qual se extraiu amostra, abrange todos os alunos matriculados em 2003 nas escolas urbanas constantes do Censo Escolar de 2002 em uma das três séries de interesse, (4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio), exclusive os alunos das turmas multisseriadas e de aceleração. Foram incluídos também no universo da quarta série do ensino fundamental os alunos das escolas federais rurais com 10 ou mais alunos na série.
Os estratos de interesse para o Saeb 2003 foram definidos a partir dos critérios a seguir:

Os alunos e escolas são identificados quando da divulgação dos resultados?

Não, alunos e escolas não são identificados quando da divulgação dos resultados. Embora a coleta de informações e dados sejam individualizadas, seus resultados são expandidos para os diversos grupos da população investigada.

O desempenho estimado dos alunos é divulgado?

Os níveis de desempenho de cada aluno não são divulgados. Apenas são divulgadas as médias dos desempenhos dos alunos em cada estrato. Os estratos referem-se à série, à localização da escola e à dependência administrativa (estadual, municipal e particular).

E o desempenho estimado das escolas?

Não. Os resultados divulgam o nível de desempenho dos alunos nas disciplinas avaliadas, segundo regiões e unidades da Federação, e não a partir de escolas avaliadas particularmente.

Qual a relação entre o Saeb e os Sistemas Estaduais e Municipais de Avaliação?

São avaliações independentes. O Saeb é conduzido nacionalmente pelo Governo Federal, enquanto as avaliações estaduais e municipais podem ter metodologia própria e são concebidas e realizadas pelos governos estaduais e municipais. No entanto, em muitos casos há a cooperação técnica entre governo federal, estadual e municipal, ou seja, há congruência entre algumas avaliações estaduais e o Saeb. Um dos objetivos do Saeb é estimular a cultura da avaliação, fomentando, assim, a implementação de avaliações estaduais e municipais.

Como são selecionadas as escolas participantes do Saeb?

A seleção das escolas é efetuada de forma aleatória, a partir do cadastro do Censo Educacional do MEC, e em conformidade com o Plano Amostral. Basicamente, a seleção está dividida em duas fases: na primeira, são definidos os estratos de interesse em que as escolas se encontram (municipal, estadual ou particular, interior ou capital, rural ou urbana); e na segunda, as escolas são selecionadas aleatoriamente e de forma independente, dentro desses estratos.

Se a amostra é aleatória, por que muitas escolas se repetem na avaliação do Saeb, ao longo dos anos?

A metodologia amostral do Saeb, por ser aleatória, não permite que sejam indicadas ou excluídas escolas de forma arbitrária, exceto aquelas que fazem parte do grupo de exclusão. Desse modo, algumas escolas que já participaram do Saeb podem vir a participar novamente, o que não causa nenhum problema metodológico. Além disso, cabe ressaltar que a partir de 1999, foi introduzida uma importante inovação na metodologia da amostra do Saeb, que é a utilização de uma técnica denominada Números Aleatórios Permanentes. A técnica apresenta uma solução simples para o problema de garantir eficiência na estimação de quantidades populacionais (ex: habilidade de alunos), em pesquisas realizadas periodicamente sobre uma população que evolui ao longo do tempo. Em outras palavras, prevê-se que a cada ano de realização do Saeb haverá repetição de uma certa quantidade de escolas (sem escolha específica), mantendo-se a qualidade dos resultados para os estratos de interesse. Além disso, o uso de números aleatórios permanentes promove a redução de custos relativos à coleta de dados, ampliando a perspectiva de produção de estudos com enfoque longitudinal. Também reforça o Saeb como instrumento voltado ao subsídio para a formulação, a reformulação e o monitoramento de políticas educacionais.

Quais são as inovações trazidas pelo Saeb 2003?

Com a perspectiva de capturar com mais precisão os fenômenos educacionais afetados por intervenções de toda ordem, o Saeb/2003 incorporou novos focos de interesse. Algumas variáveis introduzidas nos questionários contextuais permitiram agregar outras informações que aprofundaram outros aspectos sobre a população pesquisada e, em certa medida, como tais aspectos interferem ou não na aprendizagem, como por exemplo, dados sobre os beneficiários do Bolsa-Escola, sobre a violência nas escolas e subjetividade do professor.
Uma preocupação que surgiu foi conhecer mais de perto o que acontece no interior das escolas. A instituição de um Programa Federal de Apoio aos Sistemas Associados de Avaliação da Educação Básica constitui-se em valioso instrumento para que estados e municípios possam desenvolver seus próprios sistemas de avaliação e, dessa maneira produzir informações específicas de cada realidade.

Como o Saeb garante a comparabilidade dos resultados entre unidades da Federação, entre anos e entre séries?

O Saeb utiliza vários recursos metodológicos para garantir a comparabilidade dos seus resultados. São eles:

• Utilização de uma metodologia de comparação de resultados, internacionalmente validada, denominada Equalização. Esta metodologia permite comparar os resultados do Saeb, ao longo dos anos e entre as séries, por meio da inserção de um conjunto de itens comuns às testes aplicadas em ciclos subjacentes do Saeb (ex: itens comuns entre as testes de 2001 e de 1999) e inserção de itens comuns a mais de uma série (ex: tens comuns entre a 4ª e a 8ª série de uma determinada disciplina);
• Utilização da Teoria de Resposta ao Item (TRI), que permite estimar as habilidades dos alunos independentemente do conjunto específico de itens respondido.

Como os gestores utilizam os resultados do Saeb?

É importante frisar que o Saeb não tem como objetivo avaliar escolas, mas o sistema educacional como um todo. Os resultados obtidos são encaminhados para os gestores do sistema (Ministério da Educação, Secretarias Estaduais e Municipais de Educação), para que as informações possam ser utilizadas no processo de planejamento e de elaboração de políticas públicas na área educacional. Ao MEC cabe apontar problemas e sugerir linhas de ação às Secretarias Estaduais e Municipais de Educação. É válido lembrar que alguns dos programas específicos criados pelo MEC para atacar os problemas da educação, e que vêm produzindo efeitos significativos sobre a gestão das escolas e sobre o aprendizado dos alunos, foram produtos da avaliação do Saeb.

Alguns estudos realizados pelo próprio Inep, como, por exemplo, sobre quais os fatores que estão associados ao desempenho dos alunos, são um indicador precioso que os educadores _ principalmente diretores e professores _ podem utilizar com vistas ao aprimoramento de suas práticas.

Como foi a evolução do Saeb ao longo do tempo?

Tendo já realizados sete levantamentos (1990, 1993, 1995, 1997, 1999, 2001 e 2003), o Saeb vem sendo aperfeiçoado sucessivamente em cada aplicação, tanto do ponto de vista metodológico como nos procedimentos, operacionalização e abrangência. No ciclo de 1995, foram introduzidos avanços metodológicos importantes pela incorporação da Teoria de Resposta ao Item (TRI), do modelo de Amostragem Matricial de Itens e dos questionários contextuais. Já em 1997, foram incorporadas as Matrizes de Referência.

O que é a escala do Saeb? (forma apresentação dos resultados)

Os resultados da avaliação da educação básica são apresentados em uma escala de desempenho capaz de descrever, em cada nível, as competências e as habilidades que os alunos são capazes de demonstrar.A escala do Saeb é única para cada disciplina e permite apresentar, em uma mesma métrica, os resultados de desempenhos dos estudantes de todas as séries (4a e 8a séries do Ensino Fundamental e 3a série do Ensino Médio) e anos de aplicação dos testes (1995, 1997, 1999 e 2001).Pela escala, pode-se verificar que percentual de alunos já construiu as competências e habilidades desejáveis para cada uma das séries avaliadas, quantos ainda estão em processo de construção, quantos estão abaixo do nível que seria desejável para a série e quantos estão acima do nível que seria esperado.