Disciplina de Interfaces
Pessoa-Máquina
![]()
|
Marielba Silva Zacarias (2129-D) DEIC, DEI, IST |
Vítor Neves Fernandes (5490-M) MEIC, DEI, IST |
Neste documento apresenta-se uma proposta de redesenho da interface do
site da disciplina de Interfaces Pessoa-Máquina de forma a converter a componente das aulas teóricas numa “Aula
Virtual”. O objectivo do redesenho visa o acesso eficaz, não só a um conjunto
de novos conteúdos como vídeos, mini-testes e inquéritos de avaliação das aulas
mas também a diversos meios de interacção a distância como o e-mail, o fórum e
o chat.
Estando inserida num site maior
já existente, a proposta foca principalmente os aspectos de navegação e
organização perante a introdução de novos recursos.Um
problema importante confrontado foi a integração de software externo requerida
para a incorporação do vídeo, os inquéritos, a pesquisa, o fórum e o chat.
Ao longo do projecto, o
redesenho proposto é avaliado em termos da sua usabilidade quer através das
avaliações heurísticas realizadas, quer através dos testes de utilizador
realizados sobre o protótipo funcional.
O conteúdo deste documento
oferece-se uma síntese do trabalho desenvolvido. No site do projecto http://mega.ist.utl.pt/~vmnf/ipm-projecto
pode-se consultar todos os materiais produzidos ao longo do projecto.
aula virtual, interacção, fórum, chat, vídeo,
pesquisa, avaliação
Na expectativa de libertar os alunos das restrições de tempo e espaço impostos pelas aulas físicas, o corpo docente da disciplina visa enriquecer as aulas da disciplina de Interfaces Pessoa-Máquina com um conjunto de novos recursos formativos (vídeos e mini-testes online), de avaliação (inquéritos online) e de interacção (chat) à distância. Por outras palavras, pretende-se converter a componente das aulas teóricas numa “Aula Virtual”.
O presente projecto enquadra-se nesta iniciativa O principal objectivo do projecto reside no redesenho da interface da disciplina, de forma a incorporar os novos recursos observando os princípios de usabilidade aprendidos no âmbito da disciplina. Pretende-se um site agregador de recursos formativos, de avaliação e interacção. Portanto, o redesenho da interface focará principalmente aspectos de navegação e organização dos conteúdos e os problemas confrontados pela integração de programas externos.
O desenvolvimento do projecto realizou-se iterativamente e envolveu as quatro actividades básicas do desenho de interfaces; identificação de necessidades e estabelecimento dos requisitos, desenvolvimento de alternativas de desenho, construção de versões interactivas do desenho e avaliação. Nas secções 2 e 3 apresentam-se os resultados relativos à identificação de necessidades e requisitos, na secção 4 e 5 as alternativas de desenho a nível conceptual. Nas secções 6, 7, 8 e 9 descreve-se a evolução das versões interactiva e os resultados das avaliações heurísticas. Na secção 10 descreve-se a experiência de usabilidade realizada com a última versão interactiva. Finalmente, na secção 11 apresenta-se as conclusões do trabalho.
De forma a dar suporte apropriado aos utilizadores, é imperativo saber quem são e caracterizá-los [Preece02]. No âmbito deste projecto, os utilizadores foram caracterizados segundo dados demográficos como idade, sexo, ocupação e condições de acessibilidade e segundo as condições técnicas de acesso à Internet e à frequência e tempo de utilização da Internet. Também foi recolhida informação sobre as preferências dos utilizadores relativamente às tarefas suportadas pelo site da disciplina. A recolha de dados foi realizada através dum inquérito distribuído numa aula teórica de IPM (Alameda e Tagus Park). Sendo um redesenho do site da disciplina de Interfaces Pessoa-Máquina, o universo dos inquiridos foi os presentes alunos da disciplina obtendo-se uma amostra de 63 indivíduos. A tabela 1 resume os resultados obtidos da análise de frequências dos dados demográficos e de acesso à Internet. Os resultados detalhados encontram-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/analise-n63_pdf.html.
|
Características
Predominantes dos inquiridos |
Percentagem |
|
Sexo
Masculino |
90,5% |
|
Idade:
entre 20 e 22 anos |
80% |
|
Ocupação:
estudantes universitários do 3º ano da LEIC |
92% |
|
Dificuldades
de visão |
25% |
|
Utilização
da Internet |
100% |
|
Utilização
diária da Internet |
93% |
|
Duração
média da ligação: > 1 hora |
87% |
|
Principal
local de ligação: casa |
|
|
Tipo
de ligação mais utilizado: Cabo |
|
|
Equipamentos:
PC Fixo |
77% |
|
Serviços de Internet mais
utilizados: (1) WWW, e-mail (2) Fórum, chat e FTP |
96-98% 73-74% |
Tabela 1. Resumo de dados
demográficos e acesso à Internet
Relativamente ao suporte das tarefas, as preferências dos utilizadores resumem-se na tabela 2. Os resultados detalhados podem ser consultados no site do projecto. Relativamente a estes resultados deve-se salientar que devido à redução no âmbito do projecto, algumas questões incluídas no questionário ficaram fora do novo âmbito. Na tabela II apresenta-se um resumo dos resultados mais relevantes para o desenvolvimento do protótipo. A importância relativa das tarefas, materiais e esclarecimento de dúvidas foi determinada a partir duma ponderação das opções marcadas pelos utilizadores.
|
Preferências dos
utilizadores |
|
Tarefas
mais importantes: 1.
Conhecer os trabalhos a realizar 2.
Esclarecer dúvidas, 3.
Conhecer o programa do curso 4.
Ler os acetatos, 5.
Conhecer a bibliografia recomendada 6.
Partilhar ideias 7.
Conhecer os eventos relacionados com o curso 8.
Responder inquéritos e questionários |
|
Formatos
de texto : (1) PDF: 90%, (2) HTML: 61% , DOC/TXT: 22% |
|
Formatos
de vídeo: (1) AVI : 62%, (2) WMF: 22% (3) MPEGX: 10% |
|
Formatos
de áudio: (1) MP3:
93% (2) OGG: 12% (3) WMA: 11% |
|
Assistência
remota às aulas com recursos (1) vídeo: 76%, (2) acetatos: 68% e (3) chat:
50% |
|
Materiais
mais importantes duma aula on-line: (1) Vídeo, (2) Acetatos (3) Chat |
|
Realização
de questionários sem conhecimento do corpo docente (79%) com conhecimento do
corpo docente (56%) |
|
Esclarecimento
de dúvidas: (1) fórum: 71%, (2) e-mail : 65% (3) instant messaging : 57%, (4) chat: 52 % |
Tabela 2. Resumo das
preferências dos utilizadores
Baseados na anterior caracterização dos utilizadores, entrevistas com o corpo docente, a experiência docente dos autores do presente relatório e como alunos da disciplina, realizou-se a análise das tarefas. Esta análise realizou-se respondendo às 11 perguntas específicas descritas no âmbito das aulas da disciplina. Também foram seleccionadas as três tarefas que guiariam o processo de desenvolvimento dos protótipos da interface. È de salientar que existem duas versões da análise pela redefinição do âmbito do projecto. Neste relatório apresenta-se a versão correspondente ao âmbito redefinido. Ambas versões encontram-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/tarefas.html.
Embora o site pode ser acedido por qualquer pessoa interessada na disciplina, o site será principalmente utilizado por alunos universitários da LEIC, maioritariamente a frequentar o 3º ano. Predomina uma faixa etária entre os 20 e os 22 anos e o sexo masculino. Estes alunos, pela natureza da sua ocupação têm experiência e acedem com muita frequência e por períodos longos à Internet.
Os alunos realizam presentemente as seguintes tarefas: (1) Conhecer os trabalhos a realizar e resultados das avaliações, (2) Esclarecer dúvidas, (3) Conhecer o programa e sumários do curso, (4) Ler os acetatos das aulas, (5) Conhecer a bibliografia recomendada, (6) Partilhar ideias com docentes e colegas, (7) Conhecer eventos relacionados com o curso, (8) Realizar inquéritos e mini-testes on-line. A ordem das tarefas reflecte o grau de importância atribuído de forma individual pelos utilizadores às tarefas. O grau de importância global foi determinado a partir da análise dos resultados do questionário. (tabela 2)
85% dos alunos acharam desejável a assistência remota às aulas com a utilização dos seguintes recursos: (1) Vídeo da aula, (2) acetatos da aula e (3) chat. Consistente com estes resultados, os materiais mais importantes de uma aula online foram considerados: (1) o vídeo, (2) os acetatos e o (3) chat. Embora a realização de mini-testes e inquéritos tenha sido considerada pelos alunos como a tarefa de menor importância, a realização de mini-testes online assim como a inclusão de inquéritos da avaliação das aulas, também online, foi considerado desejável pelo corpo docente da disciplina. (tabela 2)
Não é necessário quase nenhum treino para aprender as tarefas. A experiência que os utilizadores têm na utilização da WWW e dos diversos serviços Internet faz com que a aprendizagem requerida para utilizar o site seja mínima (tabela 1)
As tarefas são desempenhadas principalmente desde casa, através de PC fixos com ligações de banda larga (tabela 1).
As respostas foram obtidas através de entrevistas informais com os docentes e colegas da disciplina e ainda através da própria experiência dos autores do relatório enquanto alunos da cadeira.
Os dados são comuns, utilizados concorrentemente. Não há restrições a nível da sua consulta
No presente não são relevantes, mas no futuro deverá ser considerada a utilização de PDA’s e telemóveis.
No presente a comunicação decorre de forma pessoal. Por via electrónica utiliza-se o e-mail e o fórum, ambos meios assíncronos. Pretende-se acrescentar o chat como meio síncrono de comunicação, principalmente para o esclarecimento de dúvidas durante as aulas, embora possa ser utilizado também fora das aulas.
Conhecer os trabalhos a realizar e outros eventos relacionados com o curso, a consulta do programa do curso e a leitura dos acetatos é realizado periodicamente, nomeadamente 1-2 vezes por semana. A frequência do esclarecimento de dúvidas e a partilha de ideias é variável mas frequente. A consulta do programa do curso, a consulta de bibliografia e a realização de mini-testes e questionários é realizada ocasionalmente.
A excepção da transmissão da aula ao vivo, não há restrições críticas de tempo. A visualização da aula ao vivo decorre com 30 segundos de atraso relativamente à aula física.
Se houver problemas de utilização, pode-se utilizar a ajuda on-line. Se houver falhas na transmissão ao vivo, o aluno poderá ver a aula armazenada depois. Se houver materiais não disponíveis, o aluno pode (1) enviar um e-mail ao docente responsável ou (2) colocar a questão não fórum
Uma vez conhecidas as tarefas correntes e desejáveis, seleccionaram-se a três tarefas (fácil, média e difícil) que guiariam o desenvolvimento do protótipo. As tarefas forma seleccionadas de forma a permitirem a análise de usabilidade das mudanças realizadas sobre o site actual.
No site corrente, os recursos de cada aula são poucos permitindo colocá-los num formato compacto (uma tabela). Este único formato compacto permite o acesso aos recursos das aulas com um número mínimo de cliques. Com o acrescentamento de recursos, este formato já não resulta tão adequado por várias razões: (1) o número de recursos obrigaria a uma tabela mais larga devendo-se recorer ao scroll para a percorrer, (2) o número de elementos a seleccionar cresce e portanto, o tempo de selecção dos recursos aumenta (Lei de Hicks) e (3) o tamanho dos links teria de ser pequeno para evitar um aumento excessivo da tabela. Aplicando a lei de Fitts [Dix98], o aumento dos recursos a seleccionar e um tamanho pequeno dos links aumentaria também o tempo de selecção dos recursos. De forma a analisar a usabilidade do redesenho proposto para apresentar os recursos das aulas, foi escolhida como tarefa fácil a selecção de uma aula.
A integração do fórum dentro dos recursos das aulas, obriga a analisar a usabilidade não só do próprio fórum como do fórum como parte integrante do site. Foi portanto, seleccionada como tarefa média a colocação de questões no fórum. Esta tarefa envolve as seguintes sub-tarefas: (1) Selecção do recurso do fórum, (2) Consulta dos tópicos existentes, (3) Selecção do tópico apropriado e (4) Colocação da questão desejada.
Com a incorporação de mini-testes online, pretende-se que o aluno faça uma autoavaliação dos conhecimentos adquiridos a partir dos conteúdos formativos como vídeos e acetatos. De forma a avaliar a usabilidade dos mini-testes, seleccionou-se como tarefa difícil o estudo de uma aula. A realização desta tarefa é composta por várias sub-tarefas: (1) Selecção da aula, (2) Leitura dos acetatos/vídeo da aula (3) Realização do mini-teste, (4) Verificação de resultados
Métrica de desempenho: estabelecida para esta tarefa foi a selecção de qualquer aula com máximo 1-2 cliques sem erros. Este objectivo de usabilidade baseia-se na regra dos três cliques (“Three click rule”). Esta popular regra estabelece que “toda peça de conteúdo numa página web deve poder ser acedida em três cliques ou menos”[Porter03]. Embora recentemente Josh Porter questionou a sua validade através de uma análise empírica da regra, o próprio autor salienta que a regra não deve ser ignorada pois ainda “ajuda aos desenhadores a focar as necessidades de informação dos utilizadores e a criar melhores sites”[Porter03]. Por outra parte [Robinson03] assinala que esta regra pode trabalhar muito bem em sites com um só tipo de audiência e sem demasiado conteúdo, que é o caso do site de IPM.
Métricas de desempenho: (1) facilidade de execução da tarefa, (2) tempo de execução e número de erros. Com estes objectivos pretende-se um aspecto de usabilidade intrínseco do fórum; a organização dos tópicos. A facilidade de execução será medida através da opinião dos utilizadores depois de terem executado a tarefa esperando-se obter um grau de facilidade de 4 numa escala de 1-4. Relativamente ao tempo de execução e nº de erros, espera-se 3 minutos e 1 erro (total das métricas estimadas para as sub-tarefas).
Métrica de desempenho: Eficácia dos mini-testes para medir os conhecimentos adquiridos após revisão dos conteúdos formativos. É medido através dum grau de eficácia atribuído pelos utilizadores, depois de terem executado a tarefa esperando-se obter um grau de eficácia de 3 numa escala de 1-4. Embora também estabeleceram-se métricas de desempenho para as subtarefas críticas (ver modelo conceptual no site), estas não foram verificadas pois nos testes de utilizador é usada um conjunto de acetatos mais pequeno que o normal.
A caracterização de utilizadores e tarefas fornece as bases para o desenvolvimento do modelo conceptual. Um modelo conceptual é “uma descrição do sistema em termos de um conjunto de conceitos de ideias e conceitos integrados sobre o quê deve fazer, como deve comportar-se e qual a aparência do sistema, e que será compreendida pelos utilizadores da maneira prevista” [Preece02]. [Liddle96] afirma que o modelo conceptual é o elemento mais importante a desenhar. O modelo conceptual especifica e descreve as metáforas e analogias utilizadas, os conceitos expostos ao utilizador, as relações entre esses conceitos e as associações entre os conceitos e o domínio da tarefa suportada pelo sistema [Johnson02]
O âmbito original do presente projecto abrangia o redesenho do site completo da disciplina. Inicialmente propuseram-se dois modelos conceptuais. A primeira proposta baseou-se na metáfora de um “Museu Interactivo”. A metáfora da segunda proposta foi a de um “Curso Tradicional”. A descrição de ambos modelos conceptuais pode-se ver em http://mega.ist.utl.pt/~vmnf/ipm-projecto/modelo-1.html. Para a primeira avaliação heurística (secção 5), seleccionou-se o modelo conceptual derivado da metáfora do Museu Interactivo. Os problemas apresentados com a associação dos ícones e termos da metáfora com as tarefas, veio confirmar a afirmação do Norman [Johnson02] sobre a utilização de metáforas com associações directas com o domínio das tarefas. Como resultado, decidiu-se mudar a metáfora. Devido ao número e variedade de tarefas suportadas pelo site, foi também decidido reduzir o âmbito original do projecto, focando exclusivamente a componente relativa às aulas teóricas da disciplina. Para este novo âmbito, considerou-se mais apropriada a metáfora de uma “Aula Virtual”.
A noção de Aula Virtual é uma metáfora [Sloep96]. A aula virtual é considerada como um ambiente de aprendizagem a distância apoiado por sistemas baseados no computador que tem como objecto cumprir o papel facilitador da aprendizagem de uma aula física. A metáfora foca não só o fornecimento de conteúdos formativos como materiais escritos ou vídeos mas também de meios de interacção como o e-mail, o fórum e o chat (ver [Wagner97], [Bassiel00]). De facto, em [vanDort] estabelece-se como critério de avaliação de ambientes de aprendizagens, entre outros, a presença de facilidades de comunicação como o e-mail, o chat, o fórum ou o messaging. Encontraram-se diversas implementações de Aula Virtual na WWW, quer com representações gráficas dos conceitos (figura 1-a), quer com maior utilização de texto (figura 1-b). No entanto, os conceitos são praticamente os mesmos.
|
Figura 1-a.Aula Virtual –Representação Gráfica |
Figura 1-b. Aula Virtual - Texto |
Baseados nos site de aula virtual
encontrados na WWW, nos resultados do questionário e nos elementos já presentes
no site da disciplina, considerou-se relevantes os seguintes conceitos: aula,
unidade de ensino, conteúdos (sumários, vídeo, acetatos, recursos - bibliografia,
links), auto-avaliações (mini-testes), avaliações da
aula (inquéritos) , meios de interacção (e-mail, fórum, chat), docente,
alunos.
|
Figura 2 |
q 1 aula por um docente e ouvida por vários alunos
q 1 aula é leccionada por um ou vários docentes
q 1 aula inclui um tema e um ou mais tópicos
q 1 aula é apoiada por vários conteúdos
q Os conteúdos de uma aula são os sumários, o vídeo, os acetatos e outros recursos (ex. bibliografia)
q Para cada aula há uma auto-avaliação (mini-teste)
q Cada aula pode ser avaliada através dum inquérito
q Os alunos interagem entre si e com os docentes através de médios como o chat, o fórum e o e-mail
A associação entre os conceitos da metáfora e os conceitos das tarefas e portanto da interface, é directa.
Uma vez estabelecido um conjunto de requisitos pode-se iniciar as actividades de desenho. Em termos gerais, existem dois tipos de desenho, conceptual e físico [Preece02]. O produto do desenho conceptual é o modelo conceptual (Secção 4). De forma a capturar eficazmente os requisitos dos utilizadores, o desenho físico deve ser iterativo. O protótipo é um elemento do desenho fulcral para testar o desenho e discutir ideias com os utilizadores ao longo da evolução do produto. Embora normalmente vistos como elementos muito semelhantes ao produto final (protótipos de alta fidelidade), um protótipo pode também ser um conjunto de ecrãs realizados com lápis e papel. Este tipo de protótipos, denominados por protótipos de baixa fidelidade (PBF).
Os PBF são simples, baratos e rápidos de elaborar [Preece02]. Isto permite ultrapassar problemas relacionados com os protótipos de alta fidelidade como o custo e tempo de elaboração, criação de falsas expectativas no utilizador ou a resistência às mudanças dos programadores [Rettig].
Os PBF elaboram-se com base no modelo conceptual. As figuras 2-a e 2-b, mostram ecrãs das duas metáforas propostas correspondentes ao âmbito original (a disciplina toda). A figura 2-a é um ecrã da metáfora do museu interactivo, correspondente ao menu principal de galerias (aulas). Os 2 quadrados à esquerda do nome da sala pretendem simbolizar o espaço da galeria e a contiguidade das galerias típica na arquitectura dos museus. No menu principal (à esquerda), pretende-se representar através de ícones “links” para a aula ao vivo, as informações, ajuda, pesquisa e a página principal. Outros esboços desta metáfora e o modelo conceptual encontram-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/esboco-1.html.
A figura 2-b, é um ecrã da metáfora do curso tradicional. Nesta metáfora o símbolo principal é o dossier com os seus separadores, estabelecendo analogia com o local tradicional para o armazenamento dos recursos físicos de uma disciplina utilizado quer pelos docentes, quer pelos alunos. Nesta metáfora não se percorre a ícones para o menu principal.
|
Figura 2- a Ecrã metáfora Museu Interactivo |
Figura 2-b. Ecrã metáfora Curso Tradicional |
A avaliação heurística foi o método empregue para testar a usabilidade dos protótipos desenvolvidos ao longo do projecto. Consiste em fazer com que um pequeno conjunto de avaliadores examine a interface para julgar o cumprimento de princípios reconhecidos de usabilidade (heurísticas) [Nielsen94]. É um método rápido, de baixo custo e de fácil aplicação que pode ser aplicado quer a sistemas funcionais, quer a PBFs. Como já foi mencionado na secção 4, seleccionou-se o PBF do Museu Interactivo. O resultado da avaliação do PBF está em http://mega.ist.utl.pt/~vmnf/ipm-projecto/avaliacao0.html.
O resultado mais importante a destacar, foi a violação à heurística H2-2 (falar a linguagem do utilizador), onde todos os avaliadores assinalaram que nem os ícones, nem muitos dos termos eram reveladores do seu significado. Este resultado derivou numa mudança de metáfora tal e como foi descrito na secção 4.
O PBF completo da Aula Virtual encontra-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/esboco-2.html. O storyboarding é uma maneira de utilizar os PBF. Consiste num conjunto de esboços de ecrãs que ilustra o progresso do utlilizar a medida que executa uma determinada tarefa [Preece02]. Como parte dos PBF, foi incluído o Storyboarding das tarefas fácil, média e difícil, seleccionadas para guiar o desenvolvimento do sistema. Na Figura 3 ilustra-se o “storyboarding” da tarefa fácil (Encontrar uma aula).
|
Figura 3. Tarefa facil |
Sendo uma metáfora “directa”, o PBF da Aula Virtual é muito similar ao PBF da metáfora do curso tradicional, mas com foco exclusivo nos aspectos das aulas teóricas. Os termos são idênticos aos conceitos identificados no modelo conceptual. Sendo uma componente do site geral, seguiu-se as normas estabelecidas.
Na figura 3 pode observar-se que para organizar os recursos
de uma aula, foi empregue outra vez a analogia do dossier com separadores. A
razão para utilizar esta analogia (usada também na metáfora do curso
tradicional) deve-se ao facto de representar uma associação directa com o lugar
de armazenamento físico tradicional dos recursos de uma aula. Esta analogia é
muito utilizada não só em sites de Aula Virtual (ver figura 1-a) mas também
como mecanismo geral de organização de informação. Sites como Yahoo!,
Amazon, Google, MSN e
muitos outros usam esta analogia. O emprego generalizado da analogia é também
outra razão para usá-la pois os utilizadores estão absolutamente familiarizados
com ela. A ordem de colocação dos recursos obedece aos resultados relativos à
importância dada às diversas tarefas e materiais da aula.
A mudança de metáfora e o cronograma das aulas práticas impediram a avaliação heurística do PBF da Aula Virtual. Deveu-se portanto, avaliar a Aula Virtual como primeiro protótipo interactivo. Nas figuras a seguir ilustra-se uma selecção de ecrãs do primeiro protótipo. A figura 5-a ilustra um ecrã com o sumário duma aula. Também podem ver-se as duas barras de navegação (em amarelo), o título da aula e a organização dos recursos no “dossier”. A figura 5-b ilustra a secção de acetatos e a navegação no fundo do ecrã. O primeiro protótipo pode-se ver em http://mega.ist.utl.pt/~vmnf/ipm-projecto/prototipo1.html.
|
Figura 5-a. Sumário Aula |
Figura 5-b. Acetatos Aula |
Os resultados da avaliação heurística do primeiro protótipo interactivo podem consultar-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/avaliacao1.html. Algumas violações detectadas corrigiram-se no segundo protótipo funcional, enquanto outras corrigiram-se na versão final. Detectaram-se principalmente problemas a nível da navegação, da integração do fórum e do feedback dado nos resultados do mini-teste e na ajuda oferecida.
O segundo protótipo encontra-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/prototipo2.html, e os resultados da sua avaliação em http://mega.ist.utl.pt/~vmnf/ipm-projecto/avaliacao2.html. Embora nesta avaliação se tenham detectado ainda mais problemas que na avaliação anterior (17), todos os problemas foram analisados e solucionados na versão final do protótipo, bem como se sugerem soluções para serem incorporadas a futuro.
Na avaliação do segundo protótipo detectaram-se outros problemas na navegação, no vídeo e nos acetatos. Os problemas na ajuda e no fórum do primeiro protótipo e não resolvidos no segundo, foram novamente detectados (o problema do fórum não é resolvido por razões a explicar na secção 8.1). Também se detectaram problemas de compatibilidade com outros browsers, mais um pormenor no feedback dos resultados e no menu principal das aulas. A maioria destes problemas é resolvida na versão final.
As figuras 6-a e 6-b ilustram a evolução dos ecrãs das figuras 5-a e 5-b respectivamente como resultado das duas avaliações realizados e que já correspondem à versão final do protótipo.
|
Figura 6-a.Sumário Aula |
Figura 6-b. Acetatos Aula |
É de salientar a presencia de várias violações relativamente ao software externo utilizado como o fórum e o vídeo. No caso do vídeo, os problemas detectados resolveram-se. No caso do fórum, para o problema de eficiência detectado e associado à organização dos tópicos foi proposto criar tópicos por unidade de ensino. O acesso ao fórum desde uma aula iria directamente a este tópico. Embora não implementada no protótipo, esta solucão é sugerida como resultado não só da avaliação heurística mas também da evidência empírica obtida através de “polls” colocados no fórum e dos testes de usabilidade realizados sobre o segundo protótipo e descritos mais detalhadamente na secção 10.
Outro problema detectado foi a necessidade de realizar scroll horizontalmente criada ao inserir a página do software do fórum dentro da página do site (ver figura 7). Uma possível solução é a abertura de uma janela para o fórum mas tem a desvantagem de perder o contexto da aula. No protótipo, adoptou-se esta solução para só os inquéritos. Isto permitirá comparar várias formas de integração. Embora não reflectido nos relatórios de avaliação, ainda assinalou-se como problema o facto da interface do fórum ser em inglês.
|
Figura 7. O dobro “scroll” no ecrã do fórum |
Os problemas de integração de software externo utilizado, não só do fórum mas também do software de geração de inquéritos, dos vídeos e do chat foram os maiores problemas confrontados no desenvolvimento do protótipo. Nos apêndices (secção 13) descreve-se mais detalhadamente a problemática confrontada e as soluções encontradas ou sugeridas para a integração do fórum e os inquéritos on-line.
A versão final do protótipo encontra-se em http://mega.ist.utl.pt/~vmnf/ipm-projecto/projecto/aulas/index.html. Na versão final não só se resolvem os problemas heurísticos detectados mas também incorporam-se funcionalidades como a integração do chat, integração dos inquéritos, ajuda contextualizada, e simulação de download de ficheiros e da pesquisa do site. Os problemas de compatibilidade resolveram-se, pelo menos para o Internet Explorer, para o Mozilla e para o Netscape (á excepção do vídeo limitado ao Internet Explorer). Noutros browsers como o Opera ainda há problemas nalgumas funcionalidades. Neste sentido cabe destacar que a compatibilidade implica por outra parte, limitações nas funcionalidades especialmente a nível do vídeo.
Apesar do comprovado benefício das avaliações heurísticas, é muito difícil prever a reacção dos utilizadores em relação ao sistema final. Os testes de usabilidade permitem observar e medir o comportamento de utilizadores reais. A experiência de usabilidade realizada neste projecto teve como objecto a verificação dos objectivos de usabilidade definidos para as três tarefas (secção 3.3).
Os participantes ideais dos testes de usabilidade eram os membros da população alvo (estudantes de IPM da LEIC). Pelo facto dos testes serem conduzidos durante o período de férias de Natal, foi impossível este tipo de participantes. Como solução, percorreu-se à participação de indivíduos com um perfil aproximado; estudantes e docentes universitários de outras universidades. O perfil detalhado dos utilizadores encontra-se nos apêndices.
Os testes foram conduzidos de forma individual e tiveram um carácter informal. A informalidade foi uma estratégia para obter a colaboração, especialmente nos dias feriados. No apêndice apresenta-se uma tabela com os resultados obtidos e o guião empregue para as instruções dadas para a execução de cada tarefa.
Cada sessão iniciou-se com uma breve descrição do sistema. O teste de cada tarefa foi precedido por instruções (dadas verbalmente) para a sua execução. Ao finalizar cada tarefa, registaram-se os resultados.
Pediu-se ao utilizar entrar no site e encontrar uma aula qualquer, uma vez dentro duma aula, pedia-se encontrar a aula especial do Alan Dix. O número de cliques requerido para encontrar esta aula era então registado
Pedia-se ao utilizador para por uma questão relativamente à aula especial de IPM de 26/9. O utilizador devia encontrar o tópico, seleccioná-lo e escrever a sua questão. O único passo não executado foi o “submit”. Registaram-se o tempo de execução, o número de erros cometidos. Ao finalizar esta tarefa perguntava-se ao utilizador a sua opinião sobre o grau de facilidade da tarefa numa escala ordinal de 4 valores (muito difícil, difícil, fácil, muito fácil). No caso de não acharem a tarefa muito fácil, pediu-se qual a razão.
Neste caso, pediu-se ao utilizador para ler os 6 acetatos da aula 11, seleccionados para efeitos da tarefa da aula 11 (Avaliação Heurística). Ao terminar, o utilizador devia preencher o mini-teste correspondente. Ao terminar perguntava-se ao utilizador a sua concordância em relação a eficácia do mini-teste para medir o domínio dos conteúdos aprendidos da leitura dos acetatos. A concordância foi medida numa escala de 4 valores (discordo totalmente, discordo, concordo, concordo plenamente). Espera-se que os utilizadores concordem. No caso de não concordarem plenamente, perguntava-se porquê. Não se registou o tempo nem os erros por se tratar de uma aula mais curta do que o normal.
Na tabela 3 apresentam-se os valores estatísticos obtidos da amostra para as variáveis medidas
|
Grandezas Estatísticas |
|
Nº cliques |
Tempo |
Nº Erros |
Grau de Facilidade |
Grau de Concordância |
|
|
Média |
|
1,30 |
2,55 |
0,10 |
2,90 |
3,50 |
|
|
Variância |
|
0,23 |
1,87 |
0,10 |
0,32 |
0,28 |
|
|
Desvio . Padrão |
0,48 |
1,37 |
0,32 |
0,57 |
0,53 |
|
|
|
Desvio. Padrão da média |
0,15 |
0,43 |
0,10 |
0,18 |
0,17 |
|
|
|
Intervalo de confiança ao 95% |
[1,02-1,58] |
[1,76-3,34] |
[2,57-3,23] |
[3,19-3,81] |
|
||
Os valores da média, variância, e desvio padrão permitem-nos tirar conclusões relativamente ao cumprimento dos objectivos dos indivíduos da amostra. Para podermos generalizar estes resultados à população, devemos empregar métodos de inferência estatística. Na verificação os objectivos de usabilidade, queremos comparar os valores da amostra com valores pré-estabelecidos nos objectivos de usabilidade. Portanto, a prova estatística apropriada e o cálculo dos intervalos de confiança ao 95% utilizado a distribuição t de Student. Esta distribuição é ideal para amostras pequenas. Na tabela anterior apresenta-se os intervalos de confiança obtidos.
Grau de concordância: A média do grau de concordância obtida foi de 3,50. Para este objectivo estabeleceu-se um limite inferior de 3. O limite inferior do intervalo de confiança (3,19) é superior a 3. Verifica-se portanto, o cumprimento do objectivo
No fórum foram criados dois polls relacionados com o objectivo de usabilidade da tarefa média (grau de facilidade). A figura 7, ilustra o grau de de facilidade percebido pelos alunos de IPM na colocação de questões. Das 22 pessoas que votaram, 82% acharam a colocação de questões fácil, e apenas 14% muito fácil.
|
Figura 7. Pergunta:
“Colocar questões no fórum é” |
Na figura 8 ilustra-se os resultados relativamente à pertinência da organização dos tópicos por unidade de ensino para facilitar a consulta dos tópicos no fórum. Das 14 pessoas que votaram 57% consideraram que a organização dos tópicos por unidade de ensino facilitaria a sua consulta frequentemente, 14% sempre e 28% só as vezes. Embora neste caso houve maior dispersão nas respostas, nota-se uma tendência favorável à organizar os tópicos por unidade de ensino. Os resultados destes polls orientaram a experiência de usabilidade da tarefa média, motivando a exploração de porquê a colocação de questões não resulta “muito fácil”.
|
Figura 8. Pergunta: “Organizar os tópicos por unidade de ensino facilitaria a colocação de questões” |
Os testes de usabilidade incluíram duas perguntas abertas. A primeira pretende explorar a razão pela qual as pessoas consideram a colocação de questões no fórum como fácil e não muito fácil. Das 9 pessoas que não acharam a tarefa muito fácil, 5 pessoas indicaram a falta de organização dos tópicos, 2 indicaram a quantidade de tópicos,, 1 indicou a falta de clareza nos títulos dos tópicos e 1 indicou na falta de standards para os títulos. Destes resultados, observamos que a maioria das pessoas consultadas detectam falta de organização dos tópicos. Isto também foi assinalado nas avaliações heurísticas e é reforçado nos resultados dos polls. É definitivamente, um elemento a considerar na melhoria da usabilidade do site. Sobre o tipo de organização mais adequado, as respostas foram diversas e vários não tinham uma opinião formada. A razão dada era a dificuldade de uma estrutura determinada satisfazer todas as necessidades de organização dos tópicos. Estes resultados não proporcionaram portanto, informação adicional à obtida através dos polls.
A segunda pergunta explorou a razão pela qual o mini-teste poderia não ser eficaz como medida do domínio dos conteúdos. Relativamente a este ponto, das cinco pessoas que não concordaram plenamente com a eficácia do mini-teste, 4 indicaram que isso dependeria da adequação das perguntas aos conteúdos e 1 indicou que dependeria da natureza dos conteúdos i.e. nem sempre os conteúdos podem ser avaliados através de perguntas de selecção múltipla. Estas indicações alertam sobre a importância da qualidade dos conteúdos formativos para a usabilidade do site.
No presente trabalho, foi proposto o redesenho da componente das aulas teóricas do site da disciplina de IPM. A interface foi construída através de uma metodologia iterativa. A caracterização dos utilizadores e os seus requisitos foi um valioso elemento para muitas das decisões de desenho. As avaliações heurísticas realizadas demonstraram a adequação da metáfora da Aula Virtual e permitiram detectar oportunamente uma série de problemas de usabilidade.
Confrontaram-se problemas de usabilidade relacionados principalmente com aspectos de navegação, da ajuda oferecida, de compatibilidade com os diversos browsers e de integração dos diversos softwares externos incorporados no site. Os problemas de navegação detectados foram resolvidos na sua totalidade. Os problemas detectados a nível da ajuda, resolveram-se incorporando uma ajuda contextual. Os problemas de compatibilidade foram resolvidos para os browsers mais utilizados, ainda persistem problemas nalgumas funcionalidades para browsers como o Opera, especialmente a nível do vídeo. Neste sentido dever-se-á estabelecer compromissos entre as funcionalidades oferecidas e o número de browsers abrangidos.
Sobre a integração do software externo, no site integraram-se software para a visualização do vídeo, utilização do fórum, o chat, a realização de inquéritos on-line e uma facilidade de pesquisa. O grau de integração obtido destes componentes, foi variável. Enquanto que a integração do vídeo e da facilidade de pesquisa foi totalmente conseguida, a integração do fórum e dos inquéritos on-line pode ainda ser aperfeiçoada. A melhoria futura da usabilidade do site deve focar sobre-tudo os aspectos de integração do software externo, incluindo a avaliação de diversas alternativas para determinar qual a melhor não só em termos das funcionalidades oferecidas mas também nas possibilidades de integração ao site de IPM on-line.
A través dos testes de usabilidade verificaram-se estatisticamente estabelecidos para as tarefas fácil e difícil. Sobre a tarefa média, recolheu-se evidência favorável à organização dos tópicos por unidade de ensino. Portanto, sugere-se a incorporação no fórum de uma estrutura de tópicos organizados a nível de unidades de ensino e a sua avaliação como elemento facilitador da colocação das questões.
|
[Bassiel00] |
Web based
learning environments, the Transitional Autonomy Model (TAM), Anthony ‘Skip’
Bassiel, http://weblearning.mdx.ac.uk/HCT00.htm. |
|
[Dix98] |
Human-Computer
Interaction. Second
Edition, Alan Dix , Prentice-Hall, 1998, p.26 |
|
[Johnson02] |
Conceptual Models: Begin by Designing
What to Design, J. Johnson, A. Henderson, Fev. 2002. |
|
[Liddle96] |
Design of the
Conceptual Model. Liddle D. In T. Winograd (ed.) Reading, MA, Addison Wesley |
|
[Porter03] |
Testing the three
click Rule, Josh Porter. Copyright 1997-2003 |
|
[Nielse94] |
Usability
Inspection Methods, Jacob Nielsen, Robert L. Mack (eds.) , John Wiley &
Sons, New York, NY, 1994 |
|
[Rettig94] |
MR: Prototyping for Tiny Fingers, Marc Rettig, Communications of the
ACM, 1994. |
|
Running a
Virtual Classroom: Progress and Problems,
Peter B. Sloep published in:
Didaktik des Fernstudiums aus erwachsenenpädagogischer Sicht, Dokumentation
Zum Symposium am 6/7 11 1995 in Tübingen, pp. 156 - 161, Martha Bergler,
Deutsches Institut für Fernstudienforschung an der Universität Tübingen
(DIFF), 1996 |
|
Bem vindo ao novo site das Aulas Virtuais de Interfaces Pessoa-Máquina, IPM On-Line!. Neste site pode, sem assistir fisicamente as aulas, aceder remotamente a conteúdos formativos, de avaliação e de interacção da disciplina de IPM. Com as Aulas Virtuais oferecem-se não só mais conteúdos mas também maiores facilidades de navegação. Presentemente, as aulas Virtuais abrangem exclusivamente os recursos relativos às aulas teóricas. No futuro, os Laboratórios serão incorporados neste programa através dos Laboratórios Virtuais. A inclusão de novos recursos no site, obrigou à reorganização do antigo site. Na figura 13.1 a seguir apresenta-se o ecrã principal das Aulas (antigamente denominadas como Programa).

Figura 13.1 Ecrã inicial das
Aulas Virtuais
Este ecrã, similar ao antigo, permite o acesso rápido aos conteúdos mais utilizados das aulas. Pode-se visualizar os vídeos das aulas, os acetatos, outros recursos como bibliografia e links de interesse, aceder ao fórum e o chat e ainda responder mini-testes e inquéritos. Também se pode aceder directamente à aula ao vivo, a última aula ou a facilidade de pesquisa. A ajuda, contextual neste caso, mostraria a imagem da figura 13.1


Figura 13.2. Navegação
Na figura 13.2 ilustra a navegação agora não só hierárquica mas também lateral (entre aulas). Ao acederem a qualquer conteúdo duma aula, podem a partir daí aceder não só a todos os conteúdos da aula. Também podem mudar de aula a vontade. Os links à esquerda no menu do topo permitem ir à aula ao vivo e a última aula. A caixa de selecção permite seleccionar uma aula específica.
A visualização do vídeo pode ser acedida através do menu principal das aulas (figura 13.1) ou clicando no separador respectivo uma vez dentro duma aula (figura 13.2). A figura 13.3 da página seguinte ilustra a funcionalidade de cada um dos elementos do ecrã do vídeo. Alternativamente à visualização on-line, podem-se descarregar os ficheiros em formato vários formatos; avi, wmf, mpeg2 e mpeg4 no caso de se desejar a visualização off-line. O vídeo está sincronizado com os acetatos correspondentes e o controlo da navegação é realizada através dos acetatos. Pode-se também alternar a vista do vídeo e dos acetatos; acetatos grandes e vídeo pequeno e ao contrário segundo a sua preferência.

Figura 13.3 Visualização do
vídeo
A visualização do vídeo pode ser acedida através do menu principal das aulas (figura 13.1) ou clicando no separador respectivo uma vez dentro duma aula (figura 13.2). A figura 13.4 ilustra a funcionalidade de cada um dos elementos do ecrã do dosa acetatos. Pode-se navegar sequencialmente através dos ícones ao fundo ou dos acetatos pequenos à esquerda e direita do acetato grande. Também se pode ir directamente a um acetato específico usando a caixa de combinação do fundo. No caso de querer visualizar os acetatos off-line, estes podem-se descarregar nos formatos pdf, html, doc e txt segundo a sua preferência.

Figura 13.4 Visualização dos
acetatos
O chat pode-se acedido através do menu principal do site (barra azul à esquerda), do menu principal das aulas (figura 13.1), ou através do separador respectivo dentro duma aula (figura 13.2). No primeiro caso, acede-se a uma sala geral e nos outros, a salas particulares da aula. Para aceder ao chat deve-se introduzir um nome e premir no botão “Connect”. Uma vez realizada a ligação, aparece no ecrã a imagem da figura 13.5 Na figura ilustra a funcionalidade dos elementos do chat.

O fórum pode-se acedido através do menu principal do site (barra azul à esquerda), através do separador respectivo dentro duma aula (fig 13.2). No primeiro caso, acede-se ao tópico da disciplina, nos outros casos, acede-se directamente ao tópico correspondente à aula. A figura 13.7 ilustra as funcionalidades principais do ecrã do fórum.

As aulas também podem ser visualizadas ao vivo. Para isso, basta com clicar no link no extremo esquerdo do menu do topo. A figura 13.8 ilustra o ecrã de visualização da aula ao vivo. Salienta-se a hipótese de aceder ao chat desde esse ecrã para por dúvidas ao vivo e de escolher o “streaming server”. Um requisito para esta funcionalidade é possuir o Windows Media Player. Na aula ao vivo também pode-se trocar a vista do tamanho dos acetatos e do vídeo.

Os recursos complementares como bibliografias e links úteis podem ser acedidos através do separador respectivo de cada aula. A figura 13.9 ilustra o ecrã com os recursos de uma aula.

Figura 13.9 Recursos
Uma das novas funcionalidades do site é a inclusão de mini-testes para vocês poderem avaliar o domínio dos conteúdos depois de terem estudado uma aula. Os mini-testes podem ser acedidos através do menu principal das aulas (fig. 13.1) e do separador na aula respectiva (fig. 13.2). A figura 13.10 ilustra o ecrã as funcionalidades do mini-teste.
A realização de mini-testes inclui opções de avaliação e ver as respostas certas. A avaliação dá um feeback detalhado das respostas certas e erradas.
Outra das novas funcionalidades, funciona em forma similar aos mini-testes. Os inquéritos podem ser acedidos através do menu principal das aulas (fig. 13.1) e do separador na aula respectiva (fig. 13.2). A figura 13.11 ilustra um exemplo de um ecrã com um inquérito. Devido a serem tipicamente longos, decidiu-se colocar no inquérito uma nova janela para no caso de se desejar, aproveitar todo o espaço do ecrã.

O site agora oferece uma facilidade para realizar pesquisas por palavras-chaves quer no próprio site, quer na Internet. Através desta facilidade também se pode ver o mapa do site. Na figura 13.12 ilustra-se as opções desta facilidade.

Figura 3.11 Ecrã da pesquisa
A integração de qualquer software externo deve ser precedida por uma avaliação de várias alternativas. No caso do fórum, a utilização do software adquirido e administrado pela RNL (o vBulletin) em muitas das disciplinas leccionadas na LEIC, converte a integração deste software na primeira opção a considerar e experimentar. De facto, na versão actual do protótipo experimentou-se a integração através da integração do fórum da RNL dando acesso através do site ao tópico dedicado à disciplina.
Esta primeira integração foi submetida a várias avaliações heurísticas e a testes de usabilidade. Como resultado, detectaram-se vários problemas de usabilidade como o facto do software estar em inglês e de não possuir o mesmo “look and feel” da página da cadeira. Estando o software sob administração da RNL, estes aspectos ficam fora do controlo do desenho da página. Portanto, é valido analisar outras alternativas.
A primeira alternativa reside em comprar o mesmo software da RNL para poder fazer os ajustes requeridos. O vBulletin é um software comercial (http://www.vbulletin.com.), está escrito em php e utiliza uma base de dados mySql. A sua interface tem muitas hipóteses de personalização. No entanto, não foi possível determinar a partir da leitura da documentação o suporte para outras línguas além do inglês.
Outra opção comercial o fórum AnyBoard (http://netbula.com/anyboard ) da Netbula LLC, oferece uma versão grátis. Este software de amplas funcionalidades, suporta várias bases de dados e permite desenhar páginas web. A sua versão aberta é mais limitada e implica a colocação de publicidades em troca pela sua utilização. Esta condição também limita a integração do software na página.
A nível de software de código aberto, existem variadas alternativas. Neste âmbito existe software muito simples que podem ser facilmente incorporados no código do site mas muito limitados em termos de funcionalidades e de aspecto da interface. Há no entanto opções superiores a nível de funcionalidade. A melhor opção encontrada foi o software do projecto sourceforge.net (http://sourceforge.net) o phpBB (http://www.phpbb.com). Este software de código aberto tem praticamente as mesmas funcionalidades do software da RNL. Está escrito em php e sobre uma base de dados mySql. A sua instalação é bastante simples. Inclui muitos estilos de interface e permite através da modificação destes estilos um alto grau de personalização. Adicionalmente, suporta muitas línguas. As vantagens oferecidas por este software motivaram a sua instalação para experimentar o seu potencial. O software foi instalado e configurado para o português com relativa facilidade e o logo original foi substituído pelo logo do IST. Por razões de tempo o estilo da interface não foi personalizado para ganhar a mesma aparência da página da disciplina. Na figura 13.12 apresenta-se o ecrã resultante de este trabalho.
Figura 13.12 Fórum IPM com o phpBB
Neste caso não houve avaliação de outras alternativas. O software utilizado, também da sourceforge.net, foi o phpesp. O inquérito é gerado através de uma consola de gestão para depois ser integrado no site. O software, também escrito em php e sobre uma base mySql, permite a geração de inquéritos simples. Os dados dos inquéritos preenchidos são armazenados na base de dados. O software inclui a geração automática de estatísticas que podem ser visualizadas na consola de gestão. Em termos de personalização dos inquéritos é muito mais limitado, têm menos estilos mas podem-se modificar as folhas de estilo empregue. O software apresenta ainda algumas falhas a nível das funcionalidades. Por exemplo, o link “return” ao finalizar o preenchimento de um inquérito funciona de forma errática.
O software do chat foi um applet de Java da www.freejavachat.com.
|
Nº |
Aluno/ Doc |
Area |
Nº cliques |
Tempo |
Erros |
Grau Facilidade |
Razão |
Grau Concordância |
Razão |
|
1 |
Aluno |
Informática |
1 |
2,5 |
0 |
3 |
organização dos tópicos |
4 |
|
|
2 |
Aluno |
Informática |
1 |
0,9 |
0 |
3 |
quantidade de tópicos |
4 |
|
|
3 |
Aluno |
Informática |
1 |
3,6 |
0 |
4 |
|
4 |
|
|
4 |
Aluno |
Informática |
1 |
1,8 |
0 |
3 |
organização dos tópicos |
4 |
|
|
5 |
Docente |
Informática |
1 |
1 |
0 |
3 |
organização dos tópicos |
3 |
adequação das perguntas |
|
6 |
Docente |
Física |
1 |
4 |
0 |
2 |
títulos confusos |
3 |
natureza dos conteúdos |
|
7 |
Docente |
Informática |
2 |
5 |
0 |
3 |
falta de standards |
3 |
adequação das perguntas |
|
8 |
Docente |
Informática |
2 |
3,23 |
1 |
2 |
organização dos tópicos |
3 |
adequação das perguntas |
|
9 |
Docente |
Informática |
2 |
1,46 |
0 |
3 |
organização dos tópicos |
4 |
|
|
10 |
Aluno |
Informática |
1 |
2 |
0 |
3 |
quantidade de tópicos |
3 |
adequação das perguntas |
|
Janela / Browser |
Internet Explorer |
Mozilla |
Opera |
|
Aulas |
ü |
ü |
ü |
|
Aula
ao Vivo |
ü |
X1 + Posição das janelas |
X1 |
|
Última
Aula |
ü |
ü |
ü |
|
Pesquisa |
ü |
ü |
ü |
|
Ajuda |
ü |
ü |
ü |
|
Aula
(escolha) |
ü |
ü |
ü |
|
Sumário |
ü |
ü |
ü |
|
Vídeo |
ü |
X1 |
X1 |
|
Acetatos |
ü |
ü |
X |
|
Chat |
(ü-Java) |
(ü-Java) |
(ü-Java) |
|
Fórum |
(ü-IFrame) |
(ü-IFrame) |
(ü-IFrame) |
|
Recursos |
ü |
ü |
ü |
|
MiniTeste |
ü |
ü |
ü |
|
Inquérito |
(ü-IFrame) |
(ü-IFrame) |
(ü-IFrame) |
|
TOTAL |
100%
(14/14) |
86%
(12/14) |
79%
(11/14) |
Legenda:
|
ü OK |
(ü) OK (integrado) |
|
XIncompatível |
1 Só funciona no Internet Explorer c/Windows
Media Player 9 |