Metodologia para avaliação de produtos e serviços de informação

Eliana da Conceição Rocha

Márcia de Figueiredo Evaristo de Sousa

Diretor

Emir José Suaiden

Coordenação Geral de Pesquisa e Manutenção de Produtos Consolidados

Marisa Brascher

Coordenação de Articulação, Geração e Aplicação de Tecnologia

Márcia de Figueiredo Evaristo de Sousa

Coordenação Editorial

Regina Coeli Silva Fernandes

Instituto Brasileiro de Informação em Ciência e Tecnologia

Metodologia para avaliação de produtos e serviços de informação

Eliana da Conceição Rocha¹ Márcia de Figueiredo Evaristo de Sousa²

Brasília

Agosto

2010

Revisão de conteúdo

Maria Nélida González de Gómez, Rosali Fernandez de Souza,

Joana Coeli Ribeiro Garcia, Suzana P. M. Mueller e Kátia de Carvalho.

Revisão gramatical (Ibict)

Margaret de Palermo Silva

Assistentes de edição (Ibict)

Davilene Ramos Chaves e Isabel Aguiar dos Reis

Capa (Ibict)

Flavia Rubênia da Silva Barros Descrição da capa

A imagem de fundo da capa está propositalmente com os pixels aparentes, isto é, em menor resolução, por haver sido gerada diretamente da tela por meio da ferramenta IOGraph < http://iographica.com/ >, que monitora e registra graficamente os movimentos do mouse em determinado período, no caso, durante a concepção artística. A designer considerou a ferramenta e o seu resultado gráfico uma metáfora à fase da metodologia descrita nesta obra.

Ficha catalográfica e classificação

Maria Estefânia Rodrigues e Odilon Pereira da Silva

R571m

Rocha, Eliana da Conceição.

Metodologia paia avaliação de produtos e serviços de informação.

/ Eliana da Conceição Rocha, Márcia de Figueiredo Evaristo de Sousa. -Brasilia:

Ibict, 2010.

84 p.; 23 cm. il.

Número de classificação atribuído à obra conforme a Classificação Decimal Universal, 2* edição Padrão Internacional em Língua Portuguesa.

ISBN: 978-85-7013-068-6

1. Ciência da Informação. 2. Gestão de Informação. 3. Metodologia para avaliação de produtos e serviços de informação. 4. Avaliação de produtos e serviços de informação. 5. Sense making. 6. Análise heurística. I. Instituto Brasileiro de Informação em Ciência e Tecnologia. II. Sousa, Márcia de Figueiredo Evaristo de. III. Título.

CDU [001.102:67.06] - 047.44:001.8

Ibict — SAUS, Quadra 05, Lote 6, Bloco H 70070-914 - Brasília-DF, Brasil www.ibict.br

Resumo

Os novos paradigmas da sociedade da informação e do conhecimento, configurando a necessidade de trabalho em rede de forma compartilhada, constituem parâmetros para a proposta do Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict), de realizar a avaliação de seus produtos e serviços para atender às reais necessidades de seus usuários.

Considerando a variedade da comunidade de usuários e a diversidade dos produtos e serviços oferecidos pelo instituto, adotou-se, para essa avaliação, uma metodologia híbrida que compreende a aplicação de três procedimentos: 1) avaliação qualitativa com base na abordagem Sense-Making, de Brenda Dervin, por meio de entrevistas estruturadas. Para a análise dos resultados aplica-se a técnica dos incidentes críticos de John C. Flanagan; 2) avaliação quantitativa a partir de formulários eletrônicos disponibilizados nos sites dos produtos e serviços avaliados; 3) aplicação das heurísticas de Jakob Nielsen para avaliação da usabilidade das páginas Web dos produtos e serviços.

Com essa triangulação de métodos espera-se obter uma visão contextualizada das práticas informacionais dos usuários e enriquecer as condições de uso dos produtos e serviços oferecidos; conhecer o grau de satisfação dos usuários e a extensão do acesso e uso dos produtos e serviços, bem como obter informações sobre a facilidade com que os usuários se relacionam com as interfaces desses produtos e serviços.

Abstract

The new paradigms of knowledge and information society that configures the increasing need of networking activities constitute parameters for the proposal of the Brazilian Institute for Information in Science and Technology (IBICT) to evaluate its information products and services in order to meet the real information needs of its users.

Considering the variety of users and the diversity of information products and services offered by IBICT, it was adopted, for the purpose of this evaluation, a hybrid methodology including the application of three procedures: 1) a qualitative evaluation through structured interviews based on the Sense-Making method developed by Brenda Dervin; the critical incident technique by John C. Flanagan is applied to evaluate the results; 2) a quantitative evaluation through surveys available on the sites of the products and services under evaluation; and 3) evaluation of the usability of the interfaces of these products and services through the application of Jakob Nielsen’s usability heuristics.

With the triangulation of these methods it is expected: firstly, to obtain a contextualized view of informationalpractices of users in order to improve the use conditions of the products and services offered; secondly, to detect the level of users’ satisfaction, the extension of access and use of the products and services; and, finally, to obtain information about the usability of the Web pages of these products and services.

Sumário

Apresentação.........................................................................................................9 .

1.   Introdução.............................................11

2.    Desenvolvimento da metodologia............................................................12

2.1    Construção metodológica para aplicação de estudo qualitativo.......17

2.1.1    A abordagem Sense-Making..........................................................17

2.1.2    O Micro moment time line interview.................................................19

2.2    Construção metodológica para aplicação de estudo quantitativo.....21

2.2.1    Levantamento de dados quantitativos.......................................21

2.2.2    Definição da amostra para levantamento de dados................21

2.2.3    Análise de conteúdo da questão aberta do formulário quantitativo....................................................................................23

2.2.4    Gráficos gerados pelo Zoomerang............................................23

2.3    Aplicação do método de análises heurísticas em testes de usabilidade.................................................................................................23

3.    Conclusão........................................................................................................24

Referências .........................................................................................................26 Bibliografia consultada.....................................................................................29

Agradecimentos

80

APÊNDICES

Apêndice 1 — Roteiro para realização de entrevistas com aplicação do método Micro moment time line interview da

abordagem Sense-Making..........................................................35

Apêndice 2 — Relato de uma entrevista com a marcação das variáveis denominadas incidentes críticos (positivos ou negativos), a partir da aplicação

do método Micro moment time line............................................40

Apêndice 3 — Exemplo de identificação e quantificação dos incidentes críticos que surgiram a partir das entrevistas com os

usuários do Portal do Ibict (definição de padrões).............44

Apêndice 4 — Exemplo de formulário completo no formato de

apresentação no site do Portal do Ibict.................................47

Apêndice 5 — Exemplos das variáveis específicas dos formulários

eletrônicos dos produtos/serviços CCN e Comut.............53

Apêndice 6 — Exemplos aleatórios de resultados de análise dos

formulários de avaliação quantitativa (Portal do Ibict).......59

Apêndice 7 — Respostas do campo aberto do formulário da avaliação

quantitativa................................................................................67

Apêndice 8 — Exemplo de análise do campo aberto do formulário

eletrônico de avaliação quantitativa (Portal do Ibict)..........69

Apêndice 9 — Exemplo de gráficos gerados pelo software Zoomerang a partir da avaliação quantitativa por formulário

eletrônico...................................................................................70

Apêndice 10 — Checklist para avaliação da interface homem-máquina a

partir das heurísticas de Nielsen............................................74

Apêndice 11 — Exemplo de aplicação do método de análise heurística

(Portal do Ibict)........................................................................79

Apresentação

No contexto da informação em ciência e tecnologia no Brasil, as políticas governamentais apresentam significativa aderência às ações voltadas para a construção efetiva de uma sociedade do conhecimento, para a disponibilização de tecnologias da informação e comunicação, para a convergência tecnológica e para o trabalho cooperativo e articulado. Tal configuração se manifesta na perda do caráter sistêmico isolado das instituições, na promoção do uso e desenvolvimento de padrões para a interoperabilidade de uma sociedade global em rede, no apoio às políticas de adoção de software livres, na liberdade dos produtores de conhecimento de publicar digitalmente seus estudos, bem como na democratização e universalização do acesso ao documento.

O Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict), unidade de pesquisa do Ministério da Ciência e Tecnologia (MCT), tem sua missão institucional em consonância com este contexto, quando “[...] promove a competência, o desenvolvimento de recursos e a infraestrutura de informação em ciência e tecnologia para a produção, socialização e integração do conhecimento científico e tecnológico.” (IBICT, 2003c). Além da formação de profissionais por meio do seu Programa de Pós-Graduação em Ciência da Informação, destaque-se que o Ibict promove articulações em níveis técnicos e políticos com vistas a identificar parceiros e a viabilizar a interoperabilidade entre vários provedores de fontes de informação, bem como gera condições para a criação de outros provedores essenciais à disponibilização de conteúdos brasileiros na Internet.

Tais atribuições conferem ao Ibict, como instituição governamental, a condição de órgão com responsabilidades históricas no desenvolvimento das redes, sistemas e serviços de informação científico-tecnológica no Brasil, dos quais é hoje um dos mais ativos e inovadores componentes.

No contexto desse novo paradigma de trabalho em rede e de forma compartilhada, o Ibict preocupa-se, cada vez mais, em adequar seus produtos e serviços às reais necessidades de seus usuários. Assim, adotou e está disponibilizando para as instituições interessadas, uma metodologia inovadora para avaliar produtos e serviços de informação, na qual a triangulação de métodos qualitativos e quantitativos permite, ao mesmo tempo, obter uma visão contextualizada das práticas informacionais dos usuários e enriquecer as condições de uso dos produtos e serviços oferecidos, além de conhecer o grau de satisfação dos usuários e a extensão de acesso e uso dos produtos e serviços avaliados, bem como obter informações sobre a facilidade com que os usuários se relacionam com as interfaces desses produtos e serviços.

Emir José Suaiden

Diretor do Ibict

1. Introdução

A busca por metodologias para o delineamento de procedimentos eficientes para a avaliação de produtos e serviços em informação do Ibict foi inicialmente problematizada à luz de diferentes variáveis, tais como o conhecimento da natureza e dos objetivos da instituição e a natureza dos produtos/serviços e dos usuários.

Com base na missão do Ibict, chegou-se à conclusão de que a metodologia a ser adotada deveria considerar dois aspectos: a) heterogeneidade de seu público usuário de informação em ciência e tecnologia, e b) diversidade de seus produtos e serviços disponibilizados, em todo ou em parte, em ambiente virtual.

Esses aspectos iniciais assinalaram para a dificuldade de se estabelecer uma metodologia avaliativa que apreciasse a relação entre usuário e produtos e serviços do instituto no ambiente virtual da Internet, onde se observam zonas de justaposição ou de complementaridade de produtos e serviços em canais de informação diversos. Em outras palavras, a multiplicidade de canais de informação no contexto virtual dificulta o estabelecimento de procedimentos de controle para saber quem acessa a informação, visto que nesse ambiente a ideia de público alvo pode ser questionada. Emerge daí a dificuldade de se definir uma amostra ou um instrumento para análise de resultados à luz das metas institucionais e dos objetivos dos serviços oferecidos.

A partir dessa problemática, sentiu-se a necessidade de desenvolver um método abrangente e inédito para a avaliação de produtos e serviços do Ibict. Com o enfoque nos usuários do instituto, recorreu-se a uma perspectiva marcadamente interdisciplinar com vistas à convergência e complementaridade de diferentes abordagens. Sob esse prisma, desenvolveu-se uma triangulação metodológica alternativa que contemplasse a flexibilização de métodos de natureza quantitativa e qualitativa.

Se por um lado a abordagem de natureza quantitativa auxilia na mensuração da extensão do acesso, do uso e do grau de satisfação de produtos e serviços, por outro, a abordagem qualitativa permite uma visão contextualizada das práticas informacionais dos usuários. Além disso, adotou-se um método

cuja aplicação explicita a facilidade das interfaces com as quais o usuário se relaciona. Vale ressaltar que nas três abordagens o ator principal é o usuário.

De modo a ilustrar o processo de construção da metodologia, fez-se uso do sistema de remissivas (mediante o recurso do hiperlink) para exemplificar os diferentes instrumentos de avaliação (roteiro de entrevistas, síntese de relato de entrevistas, formulários eletrônicos, gráficos, etc.) dispostos em onze apêndices.

2. Desenvolvimento da metodologia

Visando a desenvolver e instrumentalizar procedimentos avaliativos, foi realizado um estudo exploratório sobre as características de cada produto e serviço a ser avaliado, com o objetivo de obter informações sobre o que avaliar, como avaliar e qual o método mais adequado para este fim. Neste processo preliminar, foram testados produtos e serviços, com procedimentos formais e informais, por meio de consultas, navegação e análise da recuperação da informação; foi feito ao mesmo tempo levantamento das especificações técnicas e das rotinas operacionais dos serviços junto aos coordenadores técnicos. Observou-se que alguns exigiam um esforço operacional maior em relação aos recursos disponíveis para recuperar a informação, ou sobre qual o melhor caminho para se chegar a um resultado satisfatório, quanto de esforço despendido para entender toda a rotina ou navegação mais adequada. Com este material de “usuário observador”, foi possível identificar alguns dos atributos e variáveis que deveriam ser considerados pelo instrumento metodológico a ser construído.

A criação do instrumento metodológico foi orientada pela necessidade de uma abordagem para avaliação qualitativa que permite maior aproximação dos valores dos usuários, do seu cognitivo, da construção de mapas mentais e dos seus movimentos de busca e uso³ da informação.

A busca por uma abordagem qualitativa complementar e alternativa se deu diante da necessidade de adotar critérios de levantamento de dados

diferentes daqueles tradicionais utilizados para estudos dos usuários. Vale dizer que tais abordagens tradicionais foram muito utilizadas, mas também questionadas, conforme observado no resgate histórico e interpretativo exposto por Ferreira (1995) e por Baptista e Cunha (2007), por não satisfazer a vários aspectos do estudo das necessidades de informação dos usuários para avaliação de sistemas, base de dados, bibliotecas e outros serviços, no contexto da ciência da informação.

Ademais, buscou-se um método quantitativo que auxiliasse complementarmente na compreensão da extensão do uso e do grau de satisfação dos usuários quanto aos produtos e serviços de informação do instituto. Para tanto, demandou-se um instrumental que orientasse uma coleta de dados de amplo espectro, mediante avaliação dos produtos e serviços pela Web, com vistas a oferecer resultados sob as condições nas quais todo e qualquer usuário tivesse as mesmas probabilidades de emitir o seu juízo de valor a respeito dos atendimentos e recursos oferecidos pelos produtos e serviços.

Por fim, foi demandada a avaliação da usabilidade⁴ das páginas Web dos produtos e serviços do Ibict. Em outras palavras, foi necessário buscar uma abordagem para identificar o grau de interatividade entre homem-computador possibilitado pelos produtos e serviços em avaliação.

Sob esta demanda e aferindo as vantagens e desvantagens dos métodos, iniciou-se estudo focado em um processo avaliativo abrangente e que respondesse às questões sobre os objetivos a serem alcançados.

Pelo fato de a literatura não oferecer nenhum método tão completo que atendesse à envergadura desse processo, optou-se por um modelo híbrido, no qual a aplicação de três métodos viesse confluir em resultados consistentes e íntegros, oriundos da parte do avaliador e da parte de quem usa os recursos de informação a serem avaliados.

Para o desenvolvimento da metodologia, foi necessário levar em consideração as características dos produtos e serviços do Ibict, como:

• todos os produtos e serviços estão na Web;

•    alguns são produtos tecnológicos que estão também disponibilizados na Web;

•    os acervos disponibilizados não são de propriedade do instituto, exceto o acervo da biblioteca;

•    o acesso ao documento é feito por cópia digital ou fotocópia dos documentos dos acervos de outras instituições;

•    o Ibict não possui um cadastro de usuários que contemple o perfil dos mesmos;

•    alguns produtos e serviços foram adaptados para o ambiente Web, tendo em vista que o seu desenvolvimento antecede a era das novas tecnologias;

•    o instituto opera em rede, disponibiliza pacotes tecnológicos de software livre, agrega provedores de dados dentro dos padrões para a interoperabilidade, no contexto nacional e internacional.

As características desse processo de avaliação remetem ao estudo quantitativo, em que se busca observar o conhecimento do grau de satisfação dos usuários; ao estudo qualitativo sobre o comportamento de busca e uso da informação pelo usuário e o atendimento das suas reais necessidades; e ao grau de interação homem-máquina a partir da disponibilização dos produtos e serviços em ambiente Web.

Tais pressupostos metodológicos vão ao encontro daqueles que se encontram sob o espectro da ciência da informação, criada em meados de 1960 e preocupada em investigar, de maneira ampla, “[...] as propriedades e o comportamento da informação, as forças que governam seu fluxo, e os meios de processá-la para otimizar sua acessibilidade e uso.” Tais ideias foram expressas por Borko (1968, p.3), que buscou justificar e conceituar aquela disciplina sintetizando as preocupações teóricas deliberadas nas conferências do Georgia Institute of Technology (realizadas nos EUA, 1961/1962).

Conforme argumenta Borko (1968, p.3), a ciência da informação apresenta um corpo de conhecimentos preocupados com o estudo dos seus fundamentos, sem necessariamente atentar para a sua aplicação, bem como com a criação de produtos e serviços em sua dimensão eminentemente aplicada.

A complementaridade de ambas as dimensões, teórica e aplicada, subsidia os estudos sobre a origem, coleta, organização, armazenagem, recuperação, interpretação, transmissão, transformação e uso de informação.

Neste sentido, a proposta de congregar os métodos qualitativos e quantitativos para a avaliação dos produtos e serviços do Ibict aproxima-se, pelo viés metodológico, das dimensões teórica e aplicada apontadas por Borko (1968), bem como evidencia aspectos das relações interdisciplinares da ciência da informação.

A ciência da informação busca lidar com os problemas informacionais específicos e historicamente inscritos por meio do empréstimo de teorias comumente empregadas em outras disciplinas (como é o caso da Teoria matemática da comunicação, da Teoria geral de sistemas, entre outras) que são instrumentalizadas para diferentes fins (PINHEIRO, 1999, p. 177). A partir disso, conforme argumentaram Saracevic (1995, 1996) e Pinheiro (1999), a interdisciplinaridade faria parte de sua natureza constitutiva.

No contexto interdisciplinar da ciência da informação, a aplicação dos métodos qualitativos e quantitativos em uma metodologia mista converge com a perspectiva integradora de tais métodos proposta por Minayo & Sanches (1993) e por Serapione (2000).

O artigo de Minayo & Sanches (1993) objetivou apresentar discursos científicos que privilegiaram ora o método quantitativo, ora o qualitativo. Conforme explicam os autores, enquanto a investigação qualitativa “[...] trabalha com valores, crenças, representações, hábitos, atitudes e opiniões” a investigação quantitativa “[...] atua em níveis de realidade e tem como objetivo trazer à luz dados, indicadores e tendências observáveis.”

Ao discorrer sobre a natureza diferenciada de ambos os métodos, os autores constataram que tais métodos somente congregam função e valor científico e instrumental, se forem exeqüíveis num dado contexto de pesquisa. Entretanto, ambos os enfoques podem ser relativizados quanto aos seus limites de aplicação diante das especificidades do objeto de estudo. Por fim, essa percepção de insuficiência não redime o “fazer científico” da imprescindibilidade de tais instrumentos.

Já o texto de Serapione (2000) visou apresentar algumas estratégias que possibilitam a integração de métodos qualitativos e quantitativos em pesquisa social na área de saúde. Para tanto, o autor trouxe diferentes perspectivas teóricas que têm buscado superar a contraposição entre ambos os métodos. Após discorrer sobre as especificidades e as aplicabilidades de cada método em diferentes contextos de investigação, o autor desvelou preconceitos e falsos dilemas nos debates sobre tais abordagens. Propôs, enfim, a superação da incomunicabilidade de tais métodos.

No contexto da ciência da informação, Dervin (2003b) reforça a necessidade de criar metodologias que contemplem a dimensão interdisciplinar. Nas palavras da autora,

Sem uma abordagem coerente e metodologicamente bem informada para a interdiciplinaridade aplicada à área, tornar-se-á impossível, ou mesmo autodestrutivo, considerar as necessidades de informação interdisciplinar de diferentes grupos em meio ao caos da confluência de informação cyberspaced de limites disciplinares. O ato de atuar como mediador para outras áreas é ele mesmo um ato inerentemente interdisciplinar. (grifos nossos).

Considerando a necessidade de abertura metodológica voltada à interdisciplinaridade apontada por Dervin (2003b), a proposta para a avaliação dos produtos e serviços do Ibict, além de sopesar a relação entre métodos quantitativo e qualitativo, privilegia, igualmente, a comunicabilidade entre os parâmetros avaliativos/qualitativos uso e usabilidade. Nesta perspectiva, propôs-se considerar o uso em seus valores de natureza gnosiológica e prática durante o acesso e a apropriação de conteúdos informacionais, bem como somar tal parâmetro aos estudos que consideram os contextos tecnológicos de interface entre usuário e um sistema ou serviço que caracterizam qualitativamente a sua usabilidade.

As diferentes finalidades e pontos de vista, tanto no âmbito qualitativo como no quantitativo, justificam a combinação das metodologias. Embora possam, em sua amplitude, atender a diferentes objetivos, os métodos qualitativos e quantitativos foram essenciais para o desenvolvimento de procedimentos particulares e adequados de aplicação e consubstanciam o foco principal da proposição dos métodos particulares apresentados a seguir.

2.1    Construção metodológica para aplicação de estudo qualitativo

2.1.1    A abordagem Sense-Making

Para a avaliação qualitativa que aborda as peculiaridades dos grupos sociais, que tem maior aplicabilidade no processo da busca do conhecimento sobre as necessidades de informação do usuário, foi adotada a abordagem Sense-Making que, segundo Ferreira (1997a), é a mais completa, mais abrangente e utilizada em todo o mundo.

Este método foi desenvolvido em 1972 pela professora Brenda Dervin, da Ohio State University, para a realização de estudo de usuários, mas foi tornado público somente em maio de 1983, na International Communications Association Annual Meeting, em Dallas/TS/USA (PEREIRA, 2002). Nas palavras da autora, o seu método considera o processo “[...] humano criativo de compreensão do mundo em um ponto particular no tempo e espaço, limitado pela capacidade psicológica e, ainda, dos acontecimentos presentes, passados e futuros de cada indivíduo.” (DERVIN, 1983 apud FERREIRA, 1997b).

Figura 1 — Metáfora da abordagem Sense-Making

Fonte: Informações ilustrativas extraídas de Dervin, 2003a.

Esta abordagem é amplamente utilizada nos Estados Unidos para avaliação de serviços na área da saúde e para o desenvolvimento de sistemas de informação corporativos a partir das reais necessidades dos usuários. É uma metodologia ainda pouco aplicada no Brasil, restringindo-se basicamente a estudos acadêmicos.

A abordagem pressupõe que toda necessidade de informação gera uma situação que, por sua vez gera uma lacuna; todos os fatos inerentes à forma em que a lacuna é suprimida, ou seja, a busca da informação necessária e respectivas fontes de informação compõem os elementos inerentes à supressão da lacuna. A supressão de uma lacuna e a aplicação da informação obtida é denominada uso. Em suma, situação, lacuna e uso formam o trinômio operacional do Sense-Making.

No caso da aplicação da entrevista para avaliação de produtos e serviços de informação do Ibict, considera-se que situação é o fato gerador da necessidade de informação. Não existe necessidade de informação sem motivo aparente; a informação existe em decorrência da ação do homem, a partir de determinado comportamento, permeado por eventos que caracterizam uma causalidade, uma situacionalidade e uma temporalidade.

A variável lacuna refere-se a um déficit, conflito ou desordem enfrentado por um agente que gera necessidade de informação. Tais questões e necessidades de informação estão sempre relacionadas ao contexto de práticas e atividades dos agentes, e essas relações entre situação e lacuna são reconstruídas nas narrativas dos entrevistados. Na descrição da lacuna, as perguntas devem ser dirigidas também para responder às questões: quem, o quê, quando, onde, por que ou como está buscando a informação ou o acesso ao documento.

A variável uso refere-se à utilidade das informações no processo de supressão da lacuna, os impactos decorrentes, as conseqüências observadas e os reflexos desse evento em situações diversas.

As variáveis que emergem ao longo da entrevista podem ser categorizadas e classificadas, possibilitando encontrar, dentro do caos, o padrão da ordem (processos cognitivos comuns ou mapa mental dos usuários) sobre o comportamento de busca e uso da informação.

2.1.2 O Micro moment time line interview

Para aplicação da referida abordagem, Dervin desenvolveu o método Micro moment time line interview³ no qual a condução da entrevista deve descrever em profundidade, no tempo e no espaço, as características da real necessidade de informação do entrevistado. O método Micro moment time line interview diz respeito, por parte do entrevistado, da sua narrativa sobre seu momento mais recente de necessidade de informação, os caminhos percorridos para obter essas informações, incluindo seus piores e melhores momentos nessa busca, a eficácia da fonte utilizada e o conseqüente uso da informação obtida no processo da construção do conhecimento. Na opinião de Coco, Edie e Jolly (2002), este é o método que mais corresponde aos princípios da abordagem Sense-Making.

Com base no método Micro moment time line interview, foi desenvolvido um roteiro para a avaliação dos produtos e serviços do Ibict. O referido roteiro encontra-se no Apêndice 1.

Nesse roteiro, dependendo das peculiaridades do relato de cada entrevistado, talvez surjam outras questões além dos itens que norteiam cada variável. O importante é que se chegue a um nível de profundidade no qual o entrevistado considere que os fatos tenham se esgotado quanto à visibilidade de como ele deu sentido ao seu trabalho, em um micromomento na linha do tempo e espaço.

Esta vivência pode ser explicada também sob a ótica da metáfora da espiral que se desenvolve a partir do movimento do pesquisador nos seus constructos. A formação da espiral ocorre a partir da subseqüente recorrência de outra ou mais lacunas, a partir da supressão da anterior. O usuário sempre volta à outra necessidade de informação, mas nunca do mesmo ponto, tempo e lugar. Assim ocorre o ciclo de construção do conhecimento (DERVIN, 2003a).

³ O método Micro moment time line interview contempla o movimento em que é o elemento chave para a apreensão da mudança da visão de mundo dos indivíduos. Ferreira (1995a, p.79), ao citar Dervin (1995), argumenta que o objetivo do método é “[...] generalizar os padrões de comportamento de busca e uso dos indivíduos.”

Pela experiência, recomenda-se que o entrevistado esqueça qualquer termo associado à avaliação tradicional e termos relacionados a ela. Ele precisa entender que fará um relato que deve contemplar, em profundidade, todas as ocorrências e relações com o seu perfil social, cultural, profissional e individual, que surgiram como agentes desse movimento de busca e uso da informação.

O entrevistador deve explicar os conceitos e atributos relativos às três variáveis para que o entrevistado possa entender a especificidade do método e do micromomento a ser relatado. Nesse sentido, o entrevistado deve fazer o seu relato seguindo a estrutura lógica da situação, lacuna e uso, a fim de que o entrevistador possa gravar o áudio da entrevista para a posterior síntese do seu conteúdo para a elaboração do instrumento, conforme o roteiro.

Apesar de o entrevistador deixar o entrevistado praticamente livre para fazer seu relato, também deve estar atento para que não saia do foco, sempre resgatando a seqüência do método, fazendo intervenções em momentos oportunos, sem cortar ao meio alguma explanação.

Cabe ressaltar que, na aplicação da entrevista para avaliação dos produtos e serviços do Ibict, foi estabelecido como critério de seleção de amostra um grupo de dez pesquisadores com especialização, mestrado ou doutorado, concluídos ou em andamento. Em cada amostra busca-se, na medida do possível, áreas do conhecimento diversificadas.

Se o método Micro moment time line interview permite a aproximação a uma situação de busca por informação diferenciada (micromomento) exteriorizada pelo usuário em cada entrevista, em contrapartida, foi sentida a necessidade de caracterizar, padronizadamente, as situações enunciadas e registradas (conjunto das entrevistas) para a configuração de um instrumento norteador para a avaliação dos produtos e serviços do Ibict. É importante ressaltar que a padronização das situações particulares identificadas foi orientada pela aplicação do método denominado Incidente crítico. Conforme explica Flanagan (1973, p. 99), o Incidente crítico

[...] consiste em um conjunto de procedimentos para a coleta de observações diretas do comportamento humano, de modo a facilitar sua utilização potencial na solução de problemas práticos e no desenvolvimento de amplos princípios psicológicos, delineando, também, procedimentos para a coleta de incidentes observados, que apresentam significação especial, e para o encontro de critérios sistematicamente definidos.

Para auxiliar na avaliação qualitativa dos produtos e serviços do Ibict, os incidentes críticos foram selecionados para compor a síntese do relato dos entrevistados. Para avaliação de cada produto, a equipe elabora um instrumento consolidado com os incidentes críticos das dez entrevistas realizadas. Um exemplo de relato de entrevista com a marcação <>de incidentes críticos (positivos ou negativos) encontra-se no Apêndice

2. A partir desse instrumento se chega aos padrões positivos e negativos de cada componente do trinômio situação, lacuna e uso. Um exemplo da identificação dos padrões positivos e negativos a partir da aplicação dos incidentes críticos encontra-se no Apêndice 3.

2.2 Construção metodológica para aplicação de estudo quantitativo

2.2.1    Levantamento de dados quantitativos

Na definição das variáveis para o levantamento de dados quantitativos sobre o grau de satisfação do usuário, foram considerados grupos de dados sobre os seguintes aspectos:

•    perfil demográfico do usuário;

•    perfil profissional do usuário;

•    habilidades e facilidades para acessar a Internet;

•    respostas que o resultado do uso de um produto ou serviço proporciona ao usuário, quanto ao operacional, qualidade e tempo.

2.2.2    Definição da amostra para levantamento de dados

Para definição da amostra para responder ao levantamento dos dados dessa natureza, foi adotado o método probabilístico, pelo qual todos e quaisquer usuários que acessem um produto ou serviço têm a mesma probabilidade de fazer parte da amostra.

Com este fim, foi desenvolvido um formulário eletrônico para ficar disponibilizado em cada página de resultado de busca a cada produto ou serviço, e também na página principal do portal corporativo. No Apêndice 4 encontra-se como exemplo o formulário eletrônico completo de avaliação quantitativa do Portal do Ibict.

Cada produto/serviço tem como instrumento padrão os dados sobre o perfil demográfico e sobre o perfil profissional do usuário. Os formulários variam um do outro no que tange às especificidades de cada objeto a ser avaliado, ao que é e como é disponibilizado na Web, e aos fatores que interferiram, positivamente ou não, nos resultados obtidos na busca da informação nas fontes em avaliação. Exemplo das variáveis específicas dos formulários eletrônicos dos produtos/serviços CCN, Comut e BDTD encontra-se no Apêndice 5.

Ao pesquisar qual ferramenta atenderia melhor ao desenvolvimento e implantação de formulários eletrônicos, foi adotado o software Zoomerang (http:// www.zoomerang.com) pela sua facilidade de permitir o desenvolvimento de formulários eletrônicos para coleta de dados junto a uma página Web ou por e-mail, sobre produto em avaliação, pela geração de tabelas estatísticas, quantificação dos dados em percentuais e sua representação em gráficos de tipos variados.

Além do mais, o custo para instituições sem fins lucrativos é bem acessível. Como elaboração de formulário utilizando o Zoomerang, segue o exemplo do que foi desenvolvido e implantado no Portal do Ibict, sendo a seguir exemplificadas as partes específicas diferenciadas para cada fonte de informação.

Como recomendação, para que o processo avaliativo fique mais leve e menos longo, sugere-se que o avaliador tenha um cadastro de usuários com o seu perfil, a fim de que seja possível uma conexão automática deste com as respostas ao formulário específico, sem ter que repetir as mesmas perguntas sobre o mesmo usuário, numa avaliação de diferentes produtos e serviços.

O desenvolvimento do instrumento no Zoomerang não apresenta dificuldades, pois é totalmente autoexplicativo e interativo para a construção de surveys (termo utilizado pelo Zoomerang). Concluído o questionário eletrônico, é apresentada uma rotina para geração de link para website ou para e-mail, dependendo do método de levantamento que será adotado.

Depois de enviado o questionário, tanto em website ou e-mail., a ferramenta disponibiliza vários tipos de relatórios, sendo um deles destinado ao acompanhamento dos status da coleta de dados, conforme é possível observar no Apêndice 6, também usando o Portal do Ibict como exemplo.

2.2.3    Análise de conteúdo da questão aberta do formulário quantitativo

O formulário prevê um campo aberto para que o usuário proponha recomendações para melhoria do Portal do Ibict. As respostas do campo aberto estão exemplificadas no Apêndice 7. A partir das recomendações, apresenta-se um relatório de análise das questões que são pertinentes ao Portal do Ibict. As respostas de análise estão baseadas na agregação das questões a uma categoria terminológica relacionada hierarquicamente, ou seja, do geral para o específico (Apêndice 8).

2.2.4    Gráficos gerados pelo Zoomerang

O software Zoomerang possibilita a geração automática de gráficos que ilustram os percentuais dos resultados da avaliação quantitativa por formulário eletrônico constantemente atualizado. O software permite exportar dados para programas como o Excel, Power Point etc. Os gráficos estão exemplificados no Apêndice 9.

2.3 Aplicação do método de análises heurísticas em testes de usabilidade

A partir do fato de os produtos e serviços estarem na Web, verificou-se a necessidade de avaliar aspectos relacionados à usabilidade dos produtos e serviços do Ibict, no que se refere ao grau de interatividade homem-computador. Adotou-se, para esse fim, o método das heurísticas de autoria de Jakob Nielsen (1992?, c2005a, c2005b, 2001?). Segundo afirma Nielsen (c2005a), as heurísticas constituem um

[...] método de engenharia de usabilidade usado na detecção de problemas de usabilidade em um design de interface de usuário para que estes problemas possam ser tratados como parte de um processo de design interativo. Uma avaliação heurística implica fazermos um pequeno grupo de avaliadores examinarem uma interface e julgarem se os princípios de usabilidade reconhecidos (a “heurística”) estão sendo observados.

Além de ser internacionalmente reconhecido, o método garante vantagens pelo seu baixo custo de aplicação e por ser facilmente aplicado para o teste de usabilidade em produtos ou serviços de informação disponibilizados na Web e, mormente, para a adequação de páginas e interfaces Web à interação homem-computador. Para sua aplicação, Nielsen (2005a; 2005b) recomenda que a avaliação heurística seja feita por três a cinco especialistas da área, mas isso não impede que os próprios usuários estudem os critérios de avaliação e realizem a análise.

Com fundamentação nestas premissas foi desenvolvido um checklist estruturado nas dez heurísticas propostas por Nielsen (Apêndice 10). No entanto, duas delas foram fundidas em uma, pois tratam praticamente do mesmo tema: uma sobre controle de erros pelo usuário e outra sobre previsão de erros. Assim, a questão dos erros é tratada em um único item.

Na aplicação do método das heurísticas, as variáveis são preestabelecidas pelo próprio método, identificadas a partir da análise realizada por especialistas treinados para sua aplicação na construção de portais, sites, interface de busca e navegação. O exemplo de aplicação do método de análise heurística pode ser observado no Apêndice 11.

3. Conclusão

O relacionamento das três abordagens metodológicas — nas quais exemplos de sua aplicação estão apresentados nos apêndices deste documento

— foi proposto para viabilizar a avaliação de produtos e serviços do Ibict com foco nos seus usuários.

Assim, a abordagem qualitativa realizada a partir da proposta metodológica Sense-Making de Dervin e pela aplicação dos incidentes críticos de Flanagan permite uma visão contextualizada das práticas informacionais dos usuários e enriquece a reconstrução das condições de uso dos produtos e serviços de informação.

O procedimento quantitativo, por sua vez, oferece a possibilidade de obter informações sobre a extensão do uso e grau de satisfação destes produtos e serviços. A aplicação das heurísticas explicita a facilidade das interfaces com as quais os usuários se relacionam. Nos três procedimentos o atorprincipal é o usuário.

Com a avaliação qualitativa pela abordagem Sense-Making e pela marcação dos incidentes críticos, chegou-se a padrões positivos ou negativos de cada produto/serviço, conforme observado nos resultados da avaliação dos produtos/serviços Portal do Ibict, CCN e Comut (ROCHA; SOUSA, 2009a, 2009b, 2009c). Ademais, pôde-se observar padrões comuns aos três produtos. No padrão positivo foi destacada a importância dos produtos e serviços oferecidos pelo Ibict, e no negativo foi ressaltada a existência de uma demanda reprimida, dado o desconhecimento de tais produtos e serviços por parte dos seus usuários potenciais.

As pesquisas realizadas por meio de formulários eletrônicos disponibilizados na Web têm grandes vantagens sobre as pesquisas realizadas por formulários não eletrônicos, podendo incluir, entre outras, maior índice de respostas, rapidez de entrada e análise dos dados, possibilidade de expandir a amostra com os usuários não previsíveis, otimização de custos de fotocópias, correio, digitação, scanning e de verificação de dados, menor número de recursos humanos necessários, transmissão direta de dados e atualização contínua, respostas mais completas nas questões abertas, facilidade de construção de formulários de coleta de dados junto a uma pagina Web ou por e-mail., geração de tabelas estatísticas, quantificação dos dados em percentuais e sua representação em gráficos de tipos variados (PERKINS, 2004). No entanto, os índices de respostas aos formulários eletrônicos dos produtos/serviços do Ibict, já avaliados, têm se mantido baixos. Este fenômeno parece estar relacionado ao desconhecimento dos produtos e serviços do Ibict pelos seus usuários potenciais, desconhecimento este que vem sendo sistematicamente detectado pelas entrevistas realizadas para a avaliação qualitativa.

Em relação à avaliação heurística, é importante salientar que, embora tenha sido realizada pela equipe a partir dos critérios de Nielsen, a referida equipe contou com destacada participação dos próprios usuários dos produtos e serviços no momento da avaliação qualitativa, ou seja, por ocasião das entrevistas, tendo em vista o novo paradigma de busca direta de informação na Web sem intermediação de profissionais da informação (bibliotecários, documentalistas, e outros.) e pelos dados obtidos das respostas às perguntas abertas do formulário eletrônico de avaliação quantitativa. O padrão dos resultados da avaliação dos três produtos mencionados é de que a nomenclatura utilizada nos sites dos produtos e serviços do Ibict está mais voltada para profissionais da área de biblioteconomia e ciência da informação.

Para finalizar, é oportuno ressaltar que a combinação dos três métodos oferece maior consistência e integridade dos resultados advindos do olhar do avaliador e do olhar de quem usa. Espera-se, com essa combinação, alcançar

o principal objetivo da avaliação: adequar os produtos e serviços do Ibict às reais necessidades de seus usuários.

Referências

BAPTISTA, Sofia Galvão; CUNHA, Murilo Bastos da. Estudo de usuários: visão global dos métodos de coleta de dados. Perspectivas em Ciência da Informação, Belo Horizonte, v. 12, n. 2, p. 168-184, maio/ago. 2007.

BORKO, H. Information science: what is it? American Documentation, Washington, DC, v. 19, n. 1, p. 3-5, 1968.

COCO, Angela; EDIE, Gavin; JOLLY, Lesley. Using sociological research in educational system design. In: EUROPEAN CONFERENCE ON INFORMATION TECHNOLOGY IN EDUCATIONAL CITIZENSHIP, 2., 2002. Barcelona. Proceedings... Barcelona, June, 2002. Disponível em: <http://web.udg.edu/tiec/orals/ c36.pdf>. Acesso em: 18 abr. 2008.

DERVIN, Brenda. Sense-Making methodology: communicating communicatively with campaign audiences. In: DERVIN, Brenda; FOREMAN-WERNET, Lois; LAUTERBACH, Eric (Ed.). Sense-making methodology reader, selected writings of Brenda Dervin. Cresskill: Hampton Press, 2003a. p. 232-249.

_. Human studies and user studies: a call for methodological inter-disciplinarity.

Information Research, Sheffield, UK, v.9, n.1, Oct., 2003b.

FERREIRA, Sueli Mara Soares Pinto. Redes eletrônicas e necessidades de informação: abordagem do Sense-Making para estudo de comportamento de usuários do Instituto de Física da USP. 1995a. 165 f. Tese (Doutorado em Ciência da Comunicação) — Escola de Comunicação e Artes, Universidade de São Paulo, São Paulo, 1995.

_. Novos paradigmas e novos usuários da informação. Ciência da Informação,

Brasília, v.25, n.2,1995b.

_. Design de biblioteca virtual centrado no usuário: a abordagem do Sense-Making

para estudos de necessidades e procedimentos de busca e uso da informação. Ciência da Informação, Brasília, v. 26, n. 2, p. 214-217. 1997a.

_. Estudo de necessidades de informação: dos paradigmas tradicionais à abordagem

Sense-Making. Porto Alegre: EBEBD, 1997b. (Documentos da EBEBD, 2). Disponível em: <http://www.scribd.com/doc/6747637/Estudo-de-Necessidades-de-InformaCAO>. Acesso em: 18 abr. 2008.

FLANAGAN, John C. A técnica do incidente crítico. Arquivos Brasileiros de Psicologia Aplicada, Rio de Janeiro, v.2, n. 25, p. 99-141, 1973.

IBICT - Nossa Missão. Brasília: Ibict, [c2003?]. Disponível em: <http://www.ibict. br/secao.php?cat=Missão>. Acesso em: 29 dez. 2009.

MINAYO, Maria Cecília; SANCHES, O. Quantitativo-Qualitativo: oposição ou complementaridade? Caderno de Saúde Pública, Rio de Janeiro, v. 9, n. 3, p. 239-262. 1993. Disponível em: <http://www.scielo.br/pdf/csp/v9n3/02.pdf>. Acesso em: 18 abr. 2008.

NIELSEN, Jakob. Characteristics of usability problems found by heuristic evaluation. [S.l.: s.n], [1992?]. Disponível em: <http://www.useit.com/papers/heuristic/usability_ problems.html>. Acesso em: 18 abr. 2008.

_. How to conduct a heuristic evaluation. [S.l.: s.n], c2005a. Disponível em:

<http://staff.unak.is/not/nicolaw/courses/hci/HCILab7papers.pdf>. Acesso em: 18 abr. 2008.

_. Heuristic evaluation. [S.l.: s.n], c2005b. Disponível em: <http://www.useit.com/

papers/heuristic/heuristic/heuristic_list.html>. Acesso em: 18 abr. 2008.

_. Ten usability heuristics. [S.l.: s.n], [2001?]. Disponível em:

<http://www.useit.com/papers/heuristic/heuristic_list.html>. Acesso em: 18 abr. 2008.

PEREIRA, Edmeire Cristina. Design de sistemas de informação centrado no usuário e a abordagem do Sense-Making. Transinformação, Campinas, SP, v.14, n.2, 2002.

PERKINS, Gay Helen. Will libraries’ Web-based survey methods replace existing non-electronic survey methods? Information Technology and Libraries, Chicago, v.23, n.3, Sept., 2004.

PINHEIRO, Lena Vânia Ribeiro. Campo interdisciplinar da ciência da informação:

fronteiras remotas e recentes. In:_. (Org.). Ciência da informação, ciências sociais

e interdisciplinaridade. Prefácio de Gilda Maria Braga. Brasília: IBICT, 1999. p.155-182.

ROCHA, Eliana da Conceição; SOUSA, Márcia de Figueiredo Evaristo de. Avaliação consolidada do Portal do IBICT com foco no usuário. Entrevistadores: Beatriz Caiado e Cristina Souza de Almeida. Brasília: IBICT, 2009a. Relatório técnico.

_;_. Avaliação consolidada do COMUTcomfoco no usuário. Entrevistadores:

Beatriz Caiado e Cristina Souza de Almeida. Brasília: IBICT, 2009b. Relatório técnico.

_;_. Avaliação consolidada do Portal do CCN comfoco no usuário. Entrevistadores :

Beatriz Caiado e Cristina Souza de Almeida. Brasília: IBICT, 2009c. Relatório técnico.

SARACEVIC, T. Interdisciplinary nature of information science. Ciência da Informação, Brasília, v.24, n.1, p.36-41, 1995.

_. Ciência da informação: origem, evolução e relações. Perspectivas em Ciência da

Informação, Belo Horizonte, v.1, n.1, p.41-62, jan./jun. 1996.

SERAPIONE, Mauro. Métodos qualitativos e quantitativos na pesquisa social em saúde: algumas estratégias para integração. Ciência & Saúde Coletiva, v. 5, n. 2, 2000. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid =S1413-81232000000100016>. Acesso em: 12 jun. 2007.

ZOOMERANG. [Online survey]. [S.l:s.n], [200-]. Disponível em <http://www zoomerang.com/>. Acesso em: 10 mar. 2008.

Bibliografia Consultada

ABDALLA, Eidi Raquel Franco. A seleção da metodologia da pesquisa por mestrando em biblioteconomia e ciência da informação. 110 f. 2003. Dissertação (Mestrado em Ciência da Comunicação) — Universidade de São Paulo, São Paulo, 2003.

AROUCK, Osmar. Avaliação de sistemas de informação: revisão da literatura. Transinformação, Campinas, SP, v. 13, n.1, p. 7-21, 2001.

BALBY, Claudia Negrão. Roteiro de avaliação de sistemas informatizados para bibliotecas e centros de documentação. São Paulo: USP/ECA/Departamento de Biblioteconomia e Documentação, 2002. Disponível em: <http://www.eca.usp.br/prof/fmodesto/ textos/rotei02.doc>. Acesso em: 18 abr. 2008.

BARRY, Christiane A. The research activity timeline: a qualitative tool for information research. Library and Information Science Research, London, v. 19, n. 2, p.153-179, 1997.

BONI, Valdete; QUARESMA, Silvia Jurema. Aprendendo a entrevistar: como fazer entrevistas em ciências sociais. Revista Eletrônica dos Pós-Graduados em Sociologia Política da UFSC, v. 2, n. 1, p. 68-80, 2005. Disponível em: <http://www.emtese.ufsc.br/3_art5. pdf>. Acesso em: 15 Mar. 2007.

BROWN, Mary E. A general model of information-seeking behavior. In: ASIS ANNUAL MEETING, 1991, Philadelphia. Proceedings... Philadelphia: College of Information Studies, Drexel University, 1991. v.28, p. 9-14.

BAX, Marcello. Princípios básicos de usabilidade. [Belo Horizonte]: [s.n.], [199-]. Disponível em: <http://www.bax.com.br/Bax/CVs/Disciplinas/UsuInfo/2002/usabilidade>. Acesso em: 15 Mar. 2007.

BAX, Marcello P.; DIAS, Eduardo W. A abordagem “Construção de Sentido”. Belo Horizonte: [s.n.], fev. 1997. Trabalho apresentado em Workshop da ECA/USP em São Paulo. Disponível em:

<http://www.bax.com.br/Bax/CV s /Disciplinas / U suInfo / sensema6.html>. Acesso em: 17 Mar. 2008.

BOSCARIOLI, Clodis et al. Avaliação de usabilidade e avaliação Sense-Making da ferramenta RVQ-Tool. In: SIMPÓSIO SOBRE FATORES HUMANOS EM SISTEMAS COMPUTACIONAIS, 6., 2004. Curitiba. Anais... Curitiba: [s.n.], 2004. p. 9-19.

CHEUCK, W Y. B. Applying Sense-Making methodology to establish communities of practice: exemples from the Britsh Council. New York: [s.n.], 2005. Paper presented at a non-divisional workshop held of the meeting of International Communication Association. Disponível em: <http://communication.sbs.ohio-state.edu/sense-making/meet/2005/meet05cheuk_ex.pdf>. Acesso em: 15 maio 2008.

CUNHA, Murilo Bastos da; CAVALCANTI, Cordélia Robalinho de Oliveira. Dicionário de biblioteconomia e arquivologia. Brasília: Briquet de Lemos Livros, 2008. 451p.

_. Metodologias para estudo dos usuários de informação científica e

tecnológica. Revista de Biblioteconomia de Brasília, Brasília, v. 10, n.2, p. 5-20, jul./dez. 1982. Número temático sobre estudo e tratamento de usuários da informação.

DELA COLETA, J. A. A técnica dos incidentes críticos: aplicações e resultados. Arquivos Brasileiros de Psicologia Aplicada, Rio de Janeiro, v.26, n.2, p.35-58, 1974.

DIAS, Claudia Augusto. Métodos de avaliação de usabilidade no contexto deportais corporativos: um estudo de caso no Senado Federal. 229 f. 2001. Dissertação (Mestrado em Ciência da Informação) — Universidade de Brasília, Brasília, 2001.

DIAS, Fernando Skackauscas. Avaliação de sistemas de informação: revisão de publicações científicas no período de 1985-2005. 160 p. 2006. Dissertação (Mestrado em Ciência da Informação) — Universidade Federal de Minas Gerais, Belo Horizonte, 2006. Disponível em: <http://www.bibliotecadigital.ufmg.br/dspace/bitstream/1843/ VALA-6UXQYC/1 / mestrado_fernando_skackauskas_dia>. Acesso em: 18 abr. 2008.

DERVIN, Brenda. A brief pictorial guide to Dervin’s Sense-Making methodology. [S.l.:s.n.], 2003a. Disponível em:

<http://communication.sbs.ohio-state.edu/sense-making/meet/2003/dervin03sm_ pictorial_guide.pdf>. Acesso em: 20 abr. 2008.

_. Human studies and user studies: a call for methodological inter-disciplinarity.

Information Research, Columbus, OH, v.9, n.1, Oct., 2003b.

DERVIN, Brenda; NILAN, Michael. Information needs and uses. ARIST, Medford, NJ, v. 21, p. 3-33, 1986. Disponível em: <http://communication.sbs.ohio-state.edu/ sense-making/art/artabsdervinnilan86arist.html>. Acesso em: 15 maio 2008.

DERVIN, Brenda. Design de bibliotecas virtuais centrado no usuario / A guide to the sense-making approach to user research system design information practice: a abordagem do ‘Sense-Making para estudo de necessidades e comportment de busca e uso da informação. São Paulo, 1997. 68 f. Trabalho apresentado no Workshop realizado em São Paulo no período de 17 a 21 de marco de 1997, com o apoio de GT/Biblioteca, Virtual do Comite Gestor Internet/ Brasil, FAPESP, CCInt e SIBi.

DERVIN, Brenda; CONNAWAY, L. S.; PRABHA, C. Sense-Making the information confluence: the whys and how of college and university user satisfying of information needs. Columbus, Ohio: School of Communication, Ohio University, 2004. 2 p. Approved proposal for Institute of Museum and Library Services National Leadership Grant LG-02-03-0062-03. Disponível em: <http://imlsproject.comm.ohio-state. edu/imls_proposal/imlsPROPOSAL_ABSTRACT.pdf>. Acesso em: 15 maio 2008.

DERVIN, Brenda; SHIELDS, Peter. Interdisciplinary academic dialogue: Sense-Making and other methodological potentials. In: INTERNATIONAL COMMUNICATION ASSOCIATION, 2005, New York. Proceedings... New York: [s.n.], 2005. Disponível em: <http://communication.sbs.ohio-state.edu/sense-making/meet/2005/ meet05dervinshields_lit.pdf>. Acesso em: 15 maio 2008.

FIDEL, Ray. ; PEJTERSEN, Annelise Mark. From information behaviour research to the design of information systems: the cognitive work analysis framework. Information Research, Columbus, OH,, v.10, n.1, 2004. Disponível em: <http://InformationR.net/ir/10-1/paper210.html>. Acesso em: 18 abr. 2008.

FOREMAN-WERNET, Lois. Connecting the dots: methodology as guide. In: INTERNATIONAL COMMUNICATION ASSOCIATION, 2003, San Diego. Proceedings... San Diego, CA: [s.n.], 2005. Disponível em:

<http://communication.sbs.ohio-state.edu/sense-making/meet/2003/ meet03foremanwernet.pdf>. Acesso em: 15 maio 2008.

GARCIA, Rodrigo Moreira; SILVA, Helen de Castro. O comportamento do usuário final na recuperação temática da informação: um estudo com pós-graduados da UNESP de Marília. Datagramazgro, Rio de Janeiro, v.6, n.3, 2005. Disponível em: <http://dgz.org.br/jun05/Art_02.htm>. Acesso em: 18 abr. 2008.

GONZÁLES DE GÓMEZ, Maria Nélida; GRACIOSO, Luciana de Souza. Perspectiva pragmáticas para estudo do usuário no contexto virtual. In: SNBU, 14., 2006, Salvador. Anais... Salvador: [s.n], 2006.

HENRIQUE, Luiz Cláudio Junqueira; HENRIQUE, Gabriel Guimarães. Concepção da estratégia e o processo de sensemaking: explorando tendências e integrando conceitos. Cadernos de Idéias, Nova Lima, MG, n. 403, 2004.

HERNANDES SALAZAR, Patrícia et al. Análisis de modelos de comportamiento en la búsqueda de información. Ciência da Informação, Brasília, v. 36, n. 1, p. 136-146, 2007.

HJORLAND, Birger. Epistemology and the socio-cognitive perspective in Information Science. JASIST, New York, v.53, n.4, p.257-27, 2002.

HORNBAEK, Kasper. Current practice in measuring usability: studies and research. International Journal of Human-Computer Studies, Cambridge, MA, v.64, n.2. p.79-102, 2006

ITAKURA, Fernando Takashi; VERGILIO, Silvia Regina. TOWABE: uma ferramenta para avaliação de usabilidade em aplicações para Web. In: SIMPÓSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE, 16., Gramado. Anais... Gramado: [s.n.], 2002. Disponível em: <http://www.lbd.dcc.ufmg.br:8080/colecoes/sbes/2002/040.pdf>. Acesso em: 18 abr. 2008.

LANCASTER, Frederick Wilfrid. Information retrieval systems', characteristics, testings and evaluation. 2.ed. New York, John Wiley & Sons, 1979. 381p.

LOFFREDO, Ivan; SOUSA, Maria de Lourdes; VOLPATO, Elisa. Análise de pesquisa quantitativa sobre cursos online a partir da abordagem alternativa do Sense-Making. São Paulo: USP/ECA, 2005. Disponível em:

<http://www.acervos.art.br/cv/texto_eca.html>. Acesso em: 18 abr. 2008.

MARCHIONINI, Gary. Evaluating digital libraries: a longitudinal and multifaceted view Library Trends, Champaign-Urbana, Ill, v.49, n.2, p.304-333, 2000.

MARDERO, Miguel Angel. Workshop design de bibliotecas virtuais centrado no usuário: a abordagem do Sense-Making para estudo de necessidades e comportamento de busca e uso de informação. [S.l.:s.n.], [200-]. Disponível em: <http://eprints.rclis.org/ archive/00002546/01/artigo01.htm>. Acesso em: 18 abr. 2008.

MARTINS, Maria de Fátima Moreira. Estudo do uso do Portal da Capes no processo de geração de conhecimento por pesquisadores da área Biomédica. aplicando a técnica do incidente crítico. 2006. Dissertação (Mestrado em Ciência da Informação) — Instituto Brasileiro de Informação em Ciência e Tecnologia/Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2006.

NEWBY, Gregory B. The strong cognitive stance as a conceptual basis for the role of information in informatics and information system design. In: SCI/ISIS, Orlando. Proceedings... Orlando: [s.n.], July 1998. Disponível em: <http://WWW.petascale.org/ papers/cogspace-98.pdf>. Acesso em: 18 abr. 2009.

NIELSEN, Jakob. Severity ratingsfor usability problems. [S.l.: s.n], [200-]. Disponível em: <http://www.useit.com/papers/heuristic/severityrating.html>. Acesso em: 18 abr. 2008.

_. Top ten web design mistakes of 2005. [S.l.: s.n], [200-]. Disponível em: <http://

www.useit.com/alertbox/designmistakes.html>. Acesso em: 15 jan. 2008.

NIELSEN NORMAN GROUP. Design reviews (usability inspections). [S.l.: s.n], c2009. Disponível em <http://www.nngroup.com/services/inspection.html>. Acesso em: 18 abr. 2008.

NUNES, Eny Marcelino de Almeida. Aplicação de métodos de avaliação ergonômica em interface para sistemas de recuperação de informação em bases de dados. 114f. 1999. Dissertação (Mestrado em Ciência da Informação) — Universidade de Brasília, Brasília, 1999.

NUNES, Sérgio Sobral. A acessibilidade na internet no contexto da sociedade da informação. Porto: Universidade do Porto, 2002. Disponível em: <http://paginas.fe.up. pt/~mgi01016/is/acessibilidade.pdf>. Acesso em: 15 mar. 2008.

ODHIAMBO, Frank; HARRISON, Janet; HEPWORTH, Mark. The Information needs of informal carers: an analysis of the use of the micro-moment time line interview Library and Information Research, London, v. 27. n.86, p.19-29, 2003.

PEREIRA, Edmeire Cristina. Design de sistemas de informação centrado no usuário e a abordagem do Sense-Making. Transinformação, Campinas, SP, v. 14, n.2, 2002.

RIECH, Soo Young. Judgment of information quality and cognitive authority in the Web. JASIST, New York, v.53, n.2, p.145-161, 2002

SALGADO, Luciana Maria Allan. A biblioteca virtual do estudante brasileiro da Escola do Futuro da Universidade de São Paulo: um estudo da sua estrutura e dos seus usuários. 166f. 2002. Dissertação (Mestrado em Ciência da Informação) — Universidade de São Paulo, São Paulo, 2002.

SAMPAIO, I. M. C. Programa de avaliação da qualidade de produtos e serviços do SIBI/USP-PAC. Ciência da Informação, Brasília, v. 33, n. 1, p. 142-148, 2004.

SANDORE, Beth. On line searching: what measure sarisfactioin? LISR, n.12, p.33-34, 1990.

SANTOS, Robson L. G.; MORAES, Anamaria, de. Avaliação heurística da usabilidade de interfaces de Web sites', critérios ergonômicos. In: P&D DESIGN, Novo Hamburgo. Anais... 2000. Novo Hamburgo, [s.n.], 2000.

SARACEVIC, Tefko, et al. A study of information seeking and retrieving: I background and methodology. JASIST, New York, v.39, n.3, p.161-176, 1988.

SARACEVIC, Tefko; KANTOR, Paul. A study of information seeking and retrieving:

II. users, questions, and effectiveness. JASIST, New York, v.39, n.3, p.177-196, 1988.

_;_. A study of information seeking and retrieving: III: searchers,

searches, and overlap. JASIST, New York, v. 39, n.3, p.197-216, 1988.

SILVA, Janete Fernandes; FERREIRA, Marta Araújo Tavares; BORGES, Mônica Erichsen Nassif. Análise metodológica dos estudos de necessidades de informação sobre setores industriais brasileiros: proposições. Ciência da Informação, Brasília, v. 31, n. 2, p. 129-141. 2002.

SPURGIN, Kristina M. The Sense-Making approach and the study of personal information management. In: PERSONAL INFORMATION MANAGEMENT -A SIGIR 2006 WORKSHOP, 2006. Disponível em:

<http://pim.ischool.washington.edu/pim06/files/spurgin-paper.pdf>. Acesso em: 15 mar. 2008.

SUN, Ying, KANTOR, Paul B. Cross-evaluation: a new model for information system evaluation. JASIST, New York, v.57, n.5, p.614-628, 2006.

VEIGA, Carla et al. A aplicação da metodologia sensemaking como diferencial competitivo nas organizações. In: CONGRESSO BRASILEIRO DE BIBLIOTECONOMIA E DOCUMENTAÇÃO, 22., Brasília. Anais... Brasília: UNB, 2007.

WEICK, Karl E. Sensemaking in organization. Londres: Foundations for Organizational Science, 1995.

WILSON, T. D. Recent trends in user studies: action research and qualitative methods. Information Research, Sheffield, UK, v.5, n.3, April, 2000. Disponível em: <http:// informationr.net/ir/5-3/paper76.html>. Acesso em: 12 Jun. 2007.

WINCKLER, Marco; PIMENTA, Marcelo Soares. Avaliação de Usabilidade de Sites Web. In: NEDEL, Luciana Porcher (Org.). Escola de informática da SBC SUl (ERI 2002). Porto Alegre, 2002. v. 1, p. 85-137. Disponível em: <http://www.funtec.org.ar/usabilidadsitiosweb.pdf>. Acesso em: 12Jun. 2007.

APÊNDICES

APÊNDICE 1

Roteiro para realização de entrevistas com aplicação do método Micro moment time line interview

I - MARCAÇÃO DA ENTREVISTA

a)    Selecionar os nomes dos entrevistados potenciais (pessoas com notório saber ou formadoras de opinião em seu segmento profissional ou estudantil), considerando os critérios a seguir:

•    professores da graduação e pós-graduação;

•    pesquisadores em geral (indústria, governo, universidade, instituto de pesquisa, ONG);

•    alunos de pós-graduação;

•    alunos da graduação e de escolas técnicas em fase de elaboração da monografia de conclusão de curso (pedir a indicação de algum professor);

•    servidores públicos que desenvolvem atividades que requerem a busca da informação para execução das suas atividades;

•    professores de escolas técnicas profissionalizantes;

•    alunos de escolas técnicas profissionalizantes.

b)    Fazer contato telefônico com os entrevistados potenciais e certificarse sobre qual deles possui o perfil para ser entrevistado para avaliar determinado produto ou serviço de informação.

O perfil para ser um entrevistado requer conhecimento do produto ou serviço a ser avaliado, estar envolvido em alguma situação que requeira a busca e uso de informação e que este ciclo tenha sido realizado, pelo menos uma vez, recentemente (no semestre ou no máximo, no ano corrente).

c)    Identificadas as pessoas que possuem o perfil necessário, selecionar um número que possa representar uma amostra que possibilite a identificação do comportamento e necessidades padrão da população de usuários.

No caso do Ibict, serão entrevistadas dez pessoas para cada produto ou serviço.

d)    Explicar, individualmente, que a entrevista se destina à avaliação de determinado produto ou serviço de informação, que o entrevistado não terá seu nome associado às respostas.

Para o levantamento dos dados demográficos e dos referentes ao perfil profissional do usuário, usar as questões do formulário eletrônico, as quais podem ser respondidas por telefone, no momento da marcação da entrevista, ou no momento da própria entrevista.

e)    A entrevista exige o trabalho de situar o usuário no contexto da pesquisa, dando ênfase à importância da sua participação, em que ele irá descrever sua vivência experimentada na busca e uso do objeto em avaliação.

Esta ação exige do entrevistador a habilidade de mobilizar o entrevistado para que ele traga à tona sensações, sentimentos, emoções, frustrações, incertezas, angústias e sucessos experimentados; os fatores que o levaram a adotar certos comportamentos no desenvolvimento do seu trabalho ou pesquisa. O entrevistado tem de estar plenamente consciente do que se espera dele e o entrevistador deve ter a habilidade necessária para deixar o entrevistado à vontade.

f)    No caso do Ibict, a abordagem é feita a partir da explicação da missão do instituto, que criou uma coordenação para implantar um processo contínuo e sistemático de avaliação dos seus produtos e serviços. É demonstrado como ocorre uma confluência e aderência da missão institucional ao cenário mundial, onde a mudança de paradigma exige a adequação dos produtos e serviços de informação ao usuário da Web, independente e necessitado de maiores recursos que venham permitir a interação homem

— computador, a navegação lógica e os conteúdos disponibilizados de acordo com as reais necessidades dos usuários.

II - REALIZAÇÃO DA ENTREVISTA

1 - SITUAÇÃO

1.1    — Que tipo de trabalho você está desenvolvendo que demanda

informação?

1.2    — Se for uma pesquisa, perguntar: qual é a proposta?

1.3    — Que fatores influenciaram para desenvolver este trabalho?

1.4    — Desses fatores, qual você considera o principal que gerou a

necessidade de informação e por quê?

1.5    — Existe algum outro fator que você gostaria de relatar?

1.6    — Qual o contexto do seu trabalho? (exemplos: buscar soluções

para determinada tecnologia; buscar um conceito para dimensionar a abrangência da busca de informações peculiares; revisão de literatura, pesquisa na área de biogenética;).

1.7    — O que o (a) influenciou para desenvolver este tipo de trabalho?

1.8    — Qual a questão principal do contexto do seu trabalho que

gerou a necessidade de informação?

1.9    — Quais são as demais questões de destaque no contexto?

1.10    — Descreva com detalhes os fatos negativos e problemáticos

determinantes no estabelecimento da real situação.

1.11    — Descreva com detalhes os fatos positivamente significativos

que foram determinantes no estabelecimento da situação real.

1.12    — Descreva qual seria a situação ideal para o andamento desta

fase.

1.13    — Quais seriam as outras questões que você considera relevante

acrescentar, considerando o real entendimento desta fase em que você se deparou com a situação?

Obs. Ficar atento para o fato de que mais de uma questão pode ser respondida, mediante o relato do entrevistador. Em contrapartida, dependendo do relato, podem surgir questões não previstas no roteiro e que merecem ser exploradas em função do objetivo que se pretende alcançar.

No entanto, não perder o foco da variável em estudo.

Que tipo de informação ou documento você buscou para suprir a lacuna descrita?

2.1

2.2

2.3

2.4

2.5

2.6

2.7

2.8

2.9

2.10

2.11

2.12

3.13

2.14

2.15

2.16

2.17

2 - LACUNA

Qual o tipo de problema você pretendia solucionar com a recuperação da informação e acesso aos documentos?

Como você tomou conhecimento da existência desse produto/ serviço que estamos avaliando?

Qual critério o (a) levou a escolher esta fonte de informação que estamos avaliando?

Quais os termos-chave que podem descrever com fidedignidade as suas buscas nas fontes de informação?

Quais foram os critérios adotados para a possível seleção de outras fontes de informação a serem consultadas?

Alguém mais participou da indicação das fontes de informação? Algum bibliotecário participou dessa fase?

Você recebeu a ajuda de algum profissional de outra área?

Em caso positivo, qual o perfil dessa pessoa (pesquisador da área X; professor da pós-graduação, e outros atributos relevantes para o entendimento sobre a tentativa de supressão da lacuna).

Quais foram as situações de sucesso ocorridas diante do esforço despendido para suprir a lacuna?

Quais foram as situações de insucesso ocorridas diante do esforço despendido para suprimir a lacuna?

Qual o momento mais crítico que você encontrou nesta fase de busca da informação?

Quais seriam os recursos ideais para minimizar o esforço para suprimir a lacuna?

A lacuna foi totalmente suprimida?

Outras lacunas foram identificadas à medida que você buscava outras informações?

Houve alguma correção de rumos para a efetiva supressão da lacuna?

2.18    — Descreva, sob a abordagem metodológica, quais os passos

seguidos em busca da supressão da lacuna.

2.19    — Você tem alguma informação relevante que gostaria de

acrescentar, para melhor entendimento dessa fase?

3 - USO

3.1    — Você recuperou alguma informação pertinente e relevante

para a supressão da lacuna gerada pela situação?

3.2    — Todas as informações eram pertinentes?

3.3    — Qual foi o indicador de maior sucesso encontrado nesta fase?

3.4    — Quantas referências, aproximadamente, não eram pertinentes?

3.5    — As informações recuperadas foram suficientes para resolver

sua necessidade de informação?

3.6    — Você teve que recorrer a outros sistemas de informação ?

Quais? Qual o grau de qualidade de atendimento dos sistemas? Quais as características que eles possuem que não são encontradas neste em avaliação?

3.7    — Quais as soluções adotadas para garantir que as buscas fossem

realizadas com precisão?

3.8    — Qual o momento menos produtivo e de frustração no uso das

informações?

3.9    — Qual o momento mais produtivo e de sucesso no uso das

informações?

3.10    — Quais seriam as características ideais do produto ou serviço

em avaliação, para que ele esteja mais próximo das suas reais necessidades?

Relato de uma entrevista com a marcação das variáveis denominadas incidentes críticos (positivos ou negativos) a partir da aplicação do método Micro moment time line da abordagem Sense-Making

Entrevista de Avaliação do Portal do Ibict

Possui mestrado em ciência da informação (UnB - 2005) - linha de pesquisa Arquitetura da informação, especialização em Gestão de tecnologia da informação (UnB - 2008) e graduação em biblioteconomia (UnB -1999). É analista de controle externo do Tribunal de Contas da União, e atua como chefe do Serviço de Sistemas de Gestão de Conteúdos.

Contextualização da entrevista

O projeto de avaliação dos produtos e serviços do Ibict foi contextualizado dentro da política institucional e do cenário mundial. Esta avaliação é uma atividade contínua e sistemática dentro da instituição que servirá de instrumento para o processo decisório sobre as melhorias necessárias aos produtos e serviços, novos produtos e demais políticas relacionadas à área, consolidando a missão institucional.

Para este processo de avaliação foram desenvolvidos instrumentos metodológicos com características híbridas.

Esta entrevista tem seu foco no comportamento de busca e uso da informação do usuário no processo de construção do conhecimento e dos movimentos que ocorrem dentro desse processo, ou parte dele.

O estudo está centrado na vivência do usuário na sua experiência de busca e uso da informação. O método recomenda que o entrevistado relate sua mais recente experiência de busca e uso de informação no Comut (produto ou serviço em avaliação).

Esta vivência tem início no fato que gerou a necessidade da informação. Gostaríamos que você relatasse a sua experiência mais recente de busca e uso da informação, a partir do fato desencadeador que chamaremos, de agora em diante, de situação. A situação geralmente é confundida com a situação de elaboração de uma tese ou dissertação; no nosso entendimento metodológico de construção do

conhecimento, a tese é permeada de diversos micromomentos que desencadeiam necessidades de busca e uso de informação. Então, gostaríamos que você nos relatasse sua situação mais recente.

Relato do entrevistado Situação

Necessitava de bibliografia sobre semiótica e arquitetura da informação, para atender à solicitação de uma pesquisadora da Universidade Federal da Paraíba.

Lacuna

A entrevistada entrou no Portal há uma semana, para uma busca na BDTD, pois se lembrou de uma defesa de dissertação na UnB, no Departamento de Ciência da Informação, cujo tema era esse.

Foi primeiro pesquisar no Google, mas não achou o documento na íntegra e aí se lembrou que a BDTD certamente poderia ter o documento para download. Conseguiu localizar a dissertação de André Siqueira sobre “arquitetura da informação e linguagem, algo assim” (título correto: A lógica e a linguagem como fundamentos da arquitetura da informação).

Fez a busca pelo nome do autor e encontrou o documento solicitado sem nenhuma dificuldade de navegação na BDTD.

Colocou que, na BDTD propriamente, a pesquisa é muito boa. Acha “legal” haver lá o Currículo Lattes.

Cita que a BDTD é uma boa referência para a pesquisa; todo mundo a conhece e sabe que as dissertações estão lá.

Argumentou que não é fácil encontrar as informações no site. Quanto aos produtos e serviços, entende que começa com uma organização (que acha ser) lógica, com dois itens ou três, mas depois vem uma organização alfabética. Para encontrar a BDTD, ela demorou um pouco: foi em produtos e serviços — por achar mais lógico — não encontrou; procurou em outros pontos no portal, não achou; voltou em produtos e serviços e foi abrir item por item, onde acabou encontrando. Achou a localização da BDTD dentro do Portal um pouco difícil.

Uso

A utilização do documento ajudará a mestranda no desenvolvimento

de sua pesquisa acadêmica.

Espontaneamente, a entrevistada resolveu apontar alguns problemas

do portal, independentemente do roteiro, mas a partir da sua experiência.

Este exemplo mostra que é necessário sempre ouvir o usuário.

•    O portal apresenta um problema de ter o foco em notícias. É o que mais aparece. O ideal é dar destaque aos produtos e serviços. A instituição quer fazer divulgação institucional, mas o usuário não quer saber disso. Tem que haver notícia em algum lugar, porque é importante, mas o destaque deve ser menor.

•    Problema no esquema de menu “que pula para o lado”. O mais indicado é

o que “encosta e desce”. O menu utilizado hoje pelo Ibict não é indicado porque não é muito bom devido à acessibilidade. Ex.: uma pessoa que tenha uma deficiência motora.

•    Listas muito compridas. Pelo menos dispor em ordem alfabética. A recomendação atual é de que se agrupe em listas de, no máximo, sete tópicos. Agrupamento de informações (Nielsen).

•    Quem planeja o portal deve conhecer bem os produtos, mas o usuário não conhece. Problema das siglas. Criar nome fantasia ou nomes acessíveis a todas as pessoas. Ou criar formas de, quando “encostar” a seta no produto, mostrar do que se trata. Isso evita ao usuário o trabalho de ficar entrando em todos os itens para saber qual é a informação que o produto está oferecendo.

•    Pegar todos os produtos e serviços, transformar em ícones e distribuir na página principal seria muito mais útil para quem pesquisa. Sugere tentar oferecer dois caminhos para a mesma informação (menu e ícones com os principais produtos e programas do Ibict).

•    Criar espaço de banner para divulgação dos próprios ou novos produtos. Ex.: Saiu a nova edição da revista.

•    Verificar a identidade visual: logomarca, cores, designer, combinação, cor de fundo, as fontes, layout mesmo. Ex. de portal hoje tido como bom: GDF.

•    Divulgação interna dos programas da Casa e tbm dos seus produtos e serviços.

•    Criar uma “caixa” (estilo Google) para a pessoa poder pesquisar o produto ou o que lhe interessa.

•    “Outros links” de parcerias devem receber destaque menor. Talvez no final da página e fonte menor. Os links de parcerias têm mais destaque que os produtos e serviços do Ibict.

•    Dentro de “licitações” existe a informação “conforme condições estabelecidas no edital do Pregão na forma Eletrônica n° 011/2006 e seus anexos, disponíveis no site www.comprasnet.gov.br... Esta informação de site já podia ser link.

•    Já notou que cada produto e serviço do Ibict estão numa base diferente. Buscar um profissional para implementar essa funcionalidade, que possa “apontar” uma mesma busca para as diferentes bases ou “n” fontes de informação. Os produtos são bons, só falta serem apresentados de outra forma. Ex.: o portal da Capes não precisa entrar em cada revista para pesquisar. Permite com uma pesquisa localizar em muitas fontes.

•    Informação sobre a instituição onde quem estiver interessado clica e já desce a informação. Ex.: site do GDF.

•    É importante ter “fale conosco” e os contatos na primeira página.

•    Acha que seria interessante o Ibict usar ferramentas (há muitas que são livres) que possibilitam que todos os usuários publiquem conteúdos (notícias, eventos, etc.) no portal: “Comunidades de colaboração”. Ex: CMS (gestão de conteúdos).

•    Para não “brigar” com a página, deixar os parceiros mais apagados, e quem tiver interesse, quando clicar em cima do ícone, ele acende e colore.

•    Há falta de unidade visual. Está numa página, mas quando entra em outra, de repente ela muda completamente. Sugere:

1°) ter uma barra de navegação global que seja igual em todas as páginas, onde a pessoa estiver, ela vai saber que está no Ibict;

2°) manter o menu para que a pessoa possa voltar no momento que quiser; 3°) um profissional de designer, desenho industrial, para trabalhar com a questão gráfica. Sugere uma consultoria com a UnB.

•    O usuário se perde um pouco porque tem muitas informações sem consistência.

Exemplo de identificação e quantificação dos incidentes críticos que surgiram a partir das entrevistas com os usuários do Portal do Ibict

(definição de padrões) Padrão positivo do momento “Situação”

A partir da amostragem de 10(dez) entrevistas com usuários pós-graduados e em pós-graduação, tem-se um padrão positivo de situação focado na necessidade de buscar informações nos produtos e serviços do instituto e nas notícias publicadas no portal do Ibict.

Padrão negativo do momento “Situação”

Não foi identificado um padrão negativo no momento ’’situação”.

Padrão positivo do momento “Lacuna”

Em relação a este padrão, 80% dos usuários localizaram as informações desejadas, sendo que 60% localizaram as informações nos produtos e serviços a partir do acesso ao portal, e 20% localizaram as informações nas notícias; 20% acham que o portal permite boa navegação.

Padrão negativo do momento “Lacuna”

Este padrão foi predominante no portal, sem prejuízo do acesso aos produtos e serviços disponibilizados:

70% dos usuários opinaram que não é fácil encontrar as informações no portal;

70% não entendem o excesso de siglas sem explicação;

70% acham que falta a barra de navegação em todas as páginas;

40% acham que falta agrupamento de informações por grandes tópicos; 30% acham que a organização da listagem de produtos e serviços não tem uma ordem lógica;

30% acham que falta padrão para identidade visual nas várias páginas; 30% acham que falta uma interface de busca no site;

30% acham que tem muita notícia antiga;

30% acham que deve haver maior divulgação dos produtos e serviços do instituto; 30% acham que as notícias institucionais devem ter menor destaque;

30% registraram que, em alguns casos, os textos se tornam ilegíveis; 30% acham que falta acesso aos eventos promovidos pelo instituto; 20% registraram que falta a portaria que define a estrutura do Ibict (inclusive o CTC);

20% acham que o portal tem ênfase nas notícias, em detrimento dos produtos e serviços;

20% registraram a falta de ajuda sensível para explicar o significado de termos da linguagem técnica e dos nomes dos produtos e serviços; 20% não encontraram a informação desejada; 20% registraram que as informações institucionais e de notícias são incompletas (conteúdo); 20% acham que falta, no portal, um serviço de alerta geral.

Estão listados, a seguir, os incidentes negativos sobre o portal, os quais, pelo seu baixo percentual, não puderam ser agregados como um padrão, porém devem ser observados pelo gestor:

•    o usuário busca a informação em outra fonte, antes de acessar o portal;

•    o portal não disponibiliza acessibilidade para pessoa que tem deficiência motora;

•    os links de parcerias têm um destaque maior que os do portal; o portal não é atraente;

•    faltam informações sobre os coordenadores de produtos e serviços;

•    o portal não é adequado a todos os níveis de usuários; faltam informações sobre o histórico do instituto;

•    acham que as notícias que vão se constituir em informações de caráter permanente devem ficar separadas daquelas efêmeras;

•    opinam que as notícias institucionais devem ficar separadas das demais, e um usuário não suprimiu a lacuna, ou seja, não obteve a informação em nenhuma fonte.

Padrão positivo do momento “Uso”

1    - Aplicou numa pesquisa sobre arquitetura da informação e semiótica.

2    - Inscreveu-se no seminário.

3    - A informação foi usada na elaboração da sua tese de mestrado.

4    - A informação foi usada como conteúdo das aulas sobre fontes de

informação.

5    - A informação foi usada em pesquisas realizadas em Campinas.

6    - Conseguiu enviar os documentos para se candidatar à bolsa do Ibict.

7    - A informação foi usada como conteúdo das aulas sobre Classificação.

Padrão negativo do momento “Uso”

1 - Não fez uso da informação.

Padrão geral dos incidentes críticos:

O padrão de comportamento do usuário na busca e uso de produtos e serviços de informação é extraído das ocorrências dos incidentes críticos positivos e negativos, categorizados a partir da análise das entrevistas realizadas com a aplicação do método Micro moment time line interview.

No exemplo prático anteriormente apresentado, os atributos sobre o segmento notícias publicadas no portal apresentaram o maior grau de insatisfação dos usuários quanto ao número de ocorrências. Os relatos descreveram as notícias como desorganizadas; de difícil recuperação, desatualizadas e incompletas.

Exemplo de formulário completo no formato de apresentação no site

do Portal do Ibict

Avaliação dos Produtos e Serviços do Ibict Portal do Ibict

Você está navegando pelo Portal do Ibict. Por favor, compartilhe com o Instituto uns poucos minutos do seu tempo, ao responder às questões do instrumento de coleta de dados que se segue. Esta interatividade é fundamental para que cada vez mais o Ibict disponibilize informações em conforrnidade com as reais necessidades dos seus usuários. Marque a opção a seguir de acordo com a sua disponibilidade em responder, ou não, ao questionário.

Qual o seu nível mais alto de escolaridade, já concluído?

Em que ano você concluiu o seu nível mais alto de escolaridade?

Você é estudante de algum curso correspondente a um dos níves listados abaixo? Em caso positivo, marque o correspondente:

APÊNDICE 5

Exemplos das variáveis específicas dos formulários eletrônicos dos produtos/serviços CCN e COMUT⁴

a) Exemplo de variáveis específicas do CCN

Apresentam-se apenas as questões específicas dos produtos CCN e COMUT. As questões com as variáveis demográficas dos usuários presentes no Apêndice 4 (respectivamente de 2 a 14) não se diferenciam para todos os produtos e por essa razão não constam no presente apêndice.

53

b) Exemplo de variáveis específicas do COMUT

APÊNDICE 6

Exemplos aleatórios de resultados de análise dos formulários de avaliação quantitativa (Portal do IBICT)

59

Avaliação dos Produtos e Serviços do IBICT Portal dc IBICT Você está navegando pele Portal dc Ibict. Por favor, compartilhe com o Instituto uns poucos minutes dc seu tempo, ac responder às questões dc

1.

instrumento de coleta de dades que se segue. Esta interatividade, é fundamenta para que cada vez mais c IBICT esteja disponibilizando informações em conformidade ccm as reais necessidades dos seus usuários. Marque a cpçâc a seguir de acordo com a sua disponibilidade em responder cu nâo, ao questionário.

3₍ Em que ano você concluiu o nível mais alto de escolaridade?

Antes de 1950

0

0%

1951

0

0%

1952

0

0%

1952

0

0%

1954

0

0%

J

Respostas abertas do item 14: Respostas abertas do item 14:

APÊNDICE 7

Respostas do campo aberto do formulário da avaliação quantitativa

(Portal do Ibict)

Results Overview: Open Ended Responses Filter: No filter applied (42 Response(s) Returned)

23 Por favor, proponha, para melhoria do Portal, recomendações que não foram abordadas neste Instrumento.

3

Falta uma padronização, em todos os aspectos, nas páginas,

4

Informações sobre convênios para conseguir publicações do IBICT para acervos de bibliotecas de outros Estados,

5

Rever o processo de recuperação da informação na Biblioteca de teses e dissertações, Por exemplo busca - "Ciencia da Informação" - vem tudo de ciência e informação, encontro dificuldade na recuperação da informação.

6

Mudar menos o Portal; atualizar os links,

7

OASIS - deve ser melhor apresentado, tipo Scielo Normalização entre os produtos (visual)

Manter padrões aonde se enquadre,

8

Há necessidade de um "Quem é Quem", a exemplo das outras UPs do MCT.

9

Gostaria que a Base do ISSN se tornasse de acesso público,

10

não há na págna principal o enderço e o contato telefôncio do instituto. A parte central do portal com as repostagens é muito longa.

11

Possibilidade de aumento do tamanho das fonte para facilitar leitura

12

No Comut, só encontro as informações se tiver a descrição exata das fontes (periódicos, etc). Poderia ter busca por palavras chave, autor, título e outros elementos de descrição do trabalho procurado. Tambem poderia ter refinamento de busca, com especificações de determinados assuntos. Obrigada

13

Recomendo apenas que haja mais estabilidade da página de consulta ao CCN por diversas vezes não consigo utilizar este serviço, Mo mais acredito q falte divulgação dos serviços do IBICT junto às pós graduações e seus alunos. Vocês tem importantes serviços a oferecer e muita gente nem sabe,

14

A aquisição por parte de instituições de ensino deveriam ser mais agilizadas, principalmente com produtos comercializados unicamente pelo IBICIT, cito como exemplo a CDU,

15

sem mais para o momento

16

Sugiro sempre dispor links nas notícias para coisas que estejam on-line, 0 LIINC em revista por exemplo, tem o tópico sobre o lançamento mas nao tem o link pra a revista que está on line

17

0 IBICT, deveria dar suporte técnico às demais instituições governamentais pelo menos, Centro de Documentação/Informação e Bibliotecas,Assim cc esses orgãos criariam uma rede de informação e documentação,

18

0 instrumento é de signficativa importância, de itens criteriosos e relevantes para o que se propõe

19

Foram todos adequados as minhas expectativas

20

divulgaçao por e-mailj o que é a empresa e o objetivo

67

22

Melhorar a terminologia para os itens de acesso,

23

não tem

24

jjkkjkjkj

25

Uma estrutura melhor para as notícias, Divisão do tópico 'Produtos e serviços¹, atualmente é muito extenso, Destaque para os periódicos do instituto,

26

Web Solução Portal

27

0 IBICT trabalha com a informação, então deve mostrá-las de forma clara, acessível, o importante não é colocar milhões de informações, mas permitir que elas estejam claras, não é a quantidade de informação e sim a qualidade da informação, por que dificultar, não consegui as informações que necessito, Para saber sobre um congresso por exemplo tenho que colocar a data, eu não sei, estou entrando no site para saber, quais são os próximos que serão realizados no próximo semestre, Espero conrtribuir para a melhoria os serviços prestados, Obrigada pelo canal de contato, Atenciosamente Rosení

28

0 catálogo de vendas deveria mostrara capa de cada item para melhor direcionamento à compra,

29

resumo das obras que estão á venda,

30

Parabéns!

Nos últimos anos houve uma melhoria na velocidade de acesso, entre uma página e outra, o que nos satisfaz,

Sugestão: Comut/Solicitação - diminuição de telas até a finalização do pedidoj

Quando cancelo um pedido os "Motivos" poderiam ser melhorados; quando um pedido for "cancelado" poderia dispara um e-mail avisando. At

31

Inserção de um link para a Biblioteca do Congresso,

32

Seria importante criar uma mala diretas com as notícias veiculadas no IBICT,

33

Poderia melhorar a usabilidade e a arquitetura da informação.

34

Ainda não posso recomendar, porque estou iniciando meus acessos agora,

35

Atualização de informações referente aos cursos demestrado e doutorado na área de Cl,Quando, onde,como fazer etc

36

Correção para dois erros gramaticais, no texto:

"Esta interatividade, é fundamental para que cada vez mais o IBICT esteja disponibilizando informações em conformidade com as reais necessidades dos seus usuários,"

1)    A frase "Esta interatividade é fundamental,,,", pois não se separa sujeito do verbo

2)Correção    com exclusão do gerúndio ",,, o IBICT disponibilize informações,,,"

;)

37

chat on line

38

Algumas correções no CCN, relativas ao registro de algumas coleções da Bibliotecas. Isto é, lançamentos diferenciados da mesma coleção, Ex. Lançamento numérico - por uma Biblioteca, e Lançamentos com "X" por outra Biblioteca,

Outra correção - relativa a Periódicos que dispõem de suplementos em quantidade relevante,

Algumas bibliotecas lançam toda a informação numérica dos fascículos e suplementos juntos, Outras bibliotecas procedem separadamente - o registro. Desta forma, dificultam a busca do fascículo,

Também, não compreendo porque todos a Coleção de Periódicos da Bireme, não está incluído no CCN, Ex. Pulmão,RJ - periódico lançado no registro da Bireme, e não encontrado no registro do CCN.

Efetivamente, deve ocorrer com outros títulos,

Cordialmente. Ana

39

Os serviços do Ibict requerem melhor divulgação e acesso interativo mais dinâmico, entre eles, o serviço de comutação bibliográfica com metodologia bastante burocrática e morosa, Além da comunidade acadêmica, o público em geral (profissionais e especialistas) precisa ser também um alvo estratégico como meio de desenvolvimento científico e tecnológico dessa comunidade que desconhece, na sua maioria, a importante atuação política do Ibict, Na ausência de estratégia, esta avaliação, por exemplo, foi pouco, ou quase nenhuma, divulgada e Ibict tem sido historicamente pouco transparente em suas divulgações, limitadas até mesmo entre profissionais da informação, Tais limitações naturalmente produzirão poucas recomendações ou muitas outras deixarão de ser recebidas, Desconhecendo as lacunas e realidade do mercado, Ibict e seus programas diretores precisam corresponder aos anseios maiores da sua comunidade e sociedade em geral. A análise de perfil de usuário é uma ferramenta poderosa que deve ser utilizada apropriamente,

40

nada de mais

41

para a melhoria do Ibict via online ou no msn OK?bjus!

42

Seria interessante acrescentar um RSS no portal,

lisplay 50 v Per Page

displaying 1-42 of 42 Responses Select Page: First | Previous | Next | Last

68

APÊNDICE 8

Exemplo de análise do campo aberto do formulário eletrônico de avaliação quantitativa do (Portal do Ibict)

APÊNDICE 9

Exemplo de gráficos gerados pelo software Zoomerang a partir da avaliação quantitativa por formulário eletrônico (Portal do Ibict)

Gráficos com cruzamento de dados:

PÊNDICE 10

Checklist para avaliação da interface homem-máquina a partir das

heurísticas de Nielsen

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

1 - Clareza e visibilidade do status do sistema ou site.

O sistema deve informar o que ele oferece, quais as suas características temporais, espaciais e temáticas, para não criar falsas expectativas.

Da mesma forma, o usuário não pode se sentir perdido e tem que ser informado constantemente do que está acontecendo durante a navegação.

1

2

3

4

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= solução de alta prioridade; 4= É imperativo dar solução imediata.

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

2 - Linguagem

A linguagem do sistema deve ser clara, objetiva, utilizando conceitos, palavras e frases familiares para o usuário. Não utilizar jargões de sistema.

O sistema deve utilizar a ajuda sensível para descrever o significado das siglas e conceitos. As informações devem aparecer em uma ordem lógica e natural, segundo as convenções do mundo real.

1

2

3

4

Legenda: 1 = Solução de baixa prioridade; 2 = Solução de média prioridade; 3 = Solução de alta prioridade; 4= É imperativo dar solução imediata.

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

3 - Autonomia e controle do usuário

O sistema deve permitir que o usuário tenha autonomia para iniciar, interromper, continuar, desfazer, corrigir as ações por ele comandadas, como abortar operações erradas e retornar ao estado anterior.

1

2

3

4

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

4 - Padronização e consistência

Os elementos de interface de um sistema ou portal devem seguir o mesmo padrão de localização, formato e estética em suas diversas páginas. Um elemento não deve ser utilizado para identificar mais de um significado, nem dois elementos diferentes para identificar um único significado.

1

2

3

4

Legenda: 1= Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

5 - Prevenção de erros

O sistema deve ser desenvolvido para evitar ou reduzir o número de erros no uso de uma interface. Quando ocorrerem, o sistema deve emitir boas mensagens de erros, que devem ser claras, informando onde está o problema de forma a orientar ao usuário como reparar o erro, sem intimidá-lo.

1

2

3

4

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

6 - Reconhecimento em lugar de lembrança

O sistema deve minimizar a sobrecarga de memória do usuário. A interface Web deve ser desenvolvida de tal forma que mantenha as relações de uma tela para outra, facilmente reconhecidas.

Os ícones e denominações utilizados devem ter forte relação semântica com sua função.

1

2

3

4

Legenda: 1 = Solução de baixa prioridade; 2 = Solução de média prioridade; 3 = Solução de alta prioridade; 4= É imperativo dar solução imediata.

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

7 - Flexibilidade e eficiência

O sistema deve ser desenvolvido de forma a atender aos diversos níveis de experiência dos usuários. Para isso, deve permitir que os usuários mais experientes acelerem sua interação com o sistema, como por exemplo, criar atalhos.

1

2

3

4

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE

DO

PROBLEMA

8 - Estética e minimalismo

Os elementos apresentados devem ser aqueles realmente necessários para que a finalidade da interface seja atendida; evitar que os textos e o design falem mais do que o usuário necessita saber. No uso das cores, restrinja no máximo a 5 ou 7 cores diferentes. Tentar utilizar cores apenas para categorizar, diferenciar e destacar, e não para dar informação, especialmente a informação quantitativa. Lembrar de utilizar os recursos que possibilitam a melhoria da acuidade visual do usuário.

Tentar aplicar os princípios de Gestalt na organização dos objetos da interface no que tange a sua semelhança, proximidade e boa continuidade lógica. Isto com a finalidade de a interface não ter aspecto desorganizado e amontoado.

1

2

3

4

Legenda: 1= Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

NOME DO PRODUTO OU SERVIÇO

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

9 - Ajuda e documentação

1

2

3

4

É necessário que a operacionalização do sistema seja autoexplicativa, sem necessidade de auxílio de documentação e sistema de ajuda. Quando for necessária uma explicação para realizar uma operação, utilize uma interface gráfica, como, por exemplo, os balões de ajuda.

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

APÊNDICE 11

Exemplo de aplicação do método de análise heurística (Portal do Ibict)

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT NOME DO PRODUTO OU SERVIÇO: PORTAL

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE DO PROBLEMA

1

2

3

4

visibilidade do status do sistema ou site.

O sistema deve informar o que ele

1- A primeira página do portal apresenta ilustração ilegível

Ex.: VI Seminário de Pesquisa em Ciência da Informação

X

X

X

oferece, quais as suas características temporais, espaciais e temáticas, para não criar falsas expectativas. Da mesma forma, o usuário não pode se

2-    Existe link quebrado ou inativo <http://baru.ibict.br/openaccess>

3-    As equipes, quando existem, estão com informações desatualizadas.

<http://www.ibict.br/secao.php?cat=Assessoria%20

de%20Cooperação%20Técnico-Científica/

Quem%20Somos>

sentir perdido e tem que ser informado constantemente do que está acontecendo durante a navegação.

<http://www.ibict.br/secao.php?cat=Biblioteca%20

Digital%20Brasileira/Quem%20Somos>

4-    A parte dedicada à cooperação internacional está completamente desatualizada.

5-    O conteúdo sobre CONCURSOS está obsoleto

X

X

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

CHECKLIST PARA APLICAÇÃO DAS HEURÍSTICAS DE JACOB NIELSEN PARA ANÁLISE DO PORTAL E SITES DOS PRODUTOS E SERVIÇOS DO IBICT NOME DO PRODUTO OU SERVIÇO: PORTAL

Avaliar a gravidade do problema, a partir da sua frequência; do seu impacto, considerando o grau de dificuldade do usuário em contornar o problema e da sua persistência, sem possibilidade de ser contornado.

HEURÍSTICA

N°. DE OCORRÊNCIAS-URL E COMENTÁRIOS

GRAVIDADE

DO

PROBLEMA

4-. Padronização e consistência

Os elementos de uma interface de um sistema ou portal devem seguir um mesmo padrão de localização, formato e estética em suas diversas páginas.

Um elemento não deve ser utilizado para identificar mais de um significado nem dois elementos diferentes para identificar um único significado.

1-    Os vários produtos e serviços não apresentam em suas páginas, uma identidade visual com a do instituto.

< h ttp://re vis ta. ib ic t. br/liin c/in dex. ph p/liin c >

<http://prossiga.ibict.br/bibliotecas/>

<http://comut.ibict.br/comut/do/index?op=filtroForm>

2-    Existe inconsistência de arquitetura entre algumas barras de navegação.(ver: programas:inclusão social)

3-    Apresenta ajuda sensível onde não é necessário (ex.: bloco de produtos e serviços do instituto) e falta para os itens que não são auto-explicativos.

1

2

3 4

X

X

X

Legenda: 1 = Solução de baixa prioridade; 2= Solução de média prioridade; 3= Solução de alta prioridade; 4= É imperativo dar solução imediata.

79

Agradecimentos

Ao diretor do Ibict, professor doutor Emir José Suaiden, pela confiança e apoio durante todo o desenvolvimento do projeto.

À professora doutora Maria Nélida González de Gómez, por sua valiosa contribuição para o aprimoramento da metodologia.

Ao doutor Rodrigo Rabello, por sua contribuição durante a elaboração da versão final da metodologia.

A todos os usuários que se dispuseram a colaborar para a aplicação da metodologia, como entrevistados.

Aos coordenadores e técnicos dos produtos/serviços do Ibict, que trabalharam e trabalham de forma articulada com a equipe responsável pela avaliação, seja na elucidação de dúvidas referentes aos produtos/serviços, bem como na elaboração dos formulários eletrônicos para aplicação da abordagem de avaliação quantitativa.

Às técnicas da equipe de avaliação, Beatriz Caiado e Cristina Souza de Almeida, pela dedicação ao trabalho de entrevistar os pesquisadores usuários dos produtos e serviços do Ibict, durante a aplicação da metodologia referente à abordagem de avaliação qualitativa.

À equipe de informática do Ibict, pelo interesse e espírito de colaboração em facilitar, sempre que necessário, o suporte técnico para o desenvolvimento do projeto.

À equipe de Editoração do Ibict, pelo apoio, interesse e profissionalismo na fase de publicação deste documento.

0 processo avaUativo compõe uma das principais dimensões do desenvolvimento de recursos e serviços de informação, contribuindo para melhor atender às finalidades de uso e apropriação da informação pelos destinatários, e associando-se a um outro processo igualmente importante e permanente de aprendizagem organizacional. A metodologia proposta pelo Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict) preenche todas essas condições, agregando a elas uma proposta metodológica inovadora e arrojada, por reunir metodologias de avaliação quantitativa e qualitativas em áreas nas quais a prática não é comum. Em conjunto, oferece ao Ibict e a outras instituições parceiras e afins, os pontos de partida reflexivos e bem documentados para a avaliação de produtos e serviços em seu duplo contexto organizacional e on-Line.

Maria Nélida González de Gómez

ISBN 978-85-7013-068-6 9 788570 130686

Ministério da Ciência e Tecnologia

¹

Especialista em Administração de Sistemas de Informação.

²

Mestre em Ciência da Informação, Coordenadora de Articulação, Geração e Aplicação de Tecnologia do Ibict.

³

O uso, na terminologia da ciência da informação, remete ao acesso e à apropriação de conteúdos in-formacionais de valor, que pode ser gnosiológico e prático

⁴

A usabilidade é um termo desenvolvido em contextos tecnológicos e refere-se à interface entre um usuário e um sistema ou serviço.