1 Introdução

Produtos de software apoiam as pessoas rotineiramente em diversas circunstâncias, como na produção e negociação de bens e serviços, no monitoramento de ambientes, e no processo de ensino-aprendizagem. A demanda crescente por produtos de software requer profissionais hábeis em desenvolvê-los primando pela qualidade. A ISO/IEC (2011) define qualidade de software como o grau em que o produto de software satisfaz necessidades estabelecidas e implícitas, quando usado sob condições especificadas.

Contudo, as pesquisas de Von Wangenheim e Silva (2009), Kitchenham, Budgen e Brereton (2005) e Lethbridge (1999) demonstraram que, apesar da garantia da qualidade estar entre os dez tópicos mais importantes para a formação profissional em Engenharia de Software, os profissionais confirmaram que aprenderam mais depois da graduação (VON WANGENHEIM; SILVA, 2009). Villavicencio e Abran (2011) também concluíram que engenheiros de software saem da universidade sem conhecimento adequado sobre medição, para atuar na indústria de software.

A formação de profissionais graduados na área de computação é desafiadora. Ao focar na disciplina de qualidade de software, observa-se uma disciplina abrangente em termos de teoria e prática. As ementas dessa disciplina, referentes a seis cursos de Sistemas de Informação de universidades brasileiras, abordam tópicos sobre: histórico da qualidade, fundamentos da qualidade, processos da qualidade, qualidade de processo e produto, normas ISO/IEC 15504 (ISO/IEC, 2004) e ISO/IEC 9126 (ISO/IEC, 2001), substituída pela ISO/IEC 25010 (ISO/IEC, 2011) e planejamento de sistemas de qualidade de software (ROCHA et al., 2019). Além desses, tópicos sobre testes de software são considerados, devido à contribuição dos testes para melhoria da qualidade de software. A ementa da disciplina de qualidade de software, do curso de Sistemas de Informação do Instituto Federal Fluminense, cobre tais tópicos.

Neste contexto, a maneira de abordar tantos tópicos teóricos pode tornar as aulas enfadonhas e desinteressantes, o que influencia no abandono dos cursos na área de computação. A pesquisa realizada pelo Instituto Lobo apontou que 22% dos alunos de instituições públicas e 31% de instituições privadas brasileiras abandonaram os cursos dessa área, nos anos de 2014 e 2015, sendo uma das maiores taxas de evasão (SILVA FILHO, 2017).

Para atenuar esse problema, as estratégias adotadas para apoiar o ensino-aprendizagem devem tornar as aulas interessantes, motivar os alunos, bem como promover a formação de profissionais com as habilidades e competências requeridas. A motivação dos estudantes é fundamental no processo de ensino-aprendizagem. Os jogos apresentam-se como uma das principais ferramentas utilizadas para motivar e auxiliar os estudantes em seu aprendizado, em especial, naquelas disciplinas majoritariamente teóricas, que exigem mais estímulos para manter os alunos interessados. Muitos jogos são utilizados no ensino de computação, nas mais diversas instituições de ensino (BATTISTELLA; VON WANGENHEIM, 2016).

As pesquisas evidenciam vantagens e limitações dos jogos para apoiar o ensino-aprendizagem. Mais especificamente, os jogos digitais são considerados uma estratégia instrucional eficaz e eficiente para o ensino da computação (PETRI et al., 2019). Para a pergunta: os jogos são ferramentas eficazes para apoiar o aprendizado? A resposta da pesquisa realizada por Freitas (2018) é extremamente positiva. Contudo, Freitas (2018) destacou que, embora pareça que os jogos aumentam a motivação dos alunos, sendo envolventes e estando associados a mudanças comportamentais, são necessários mais estudos para garantir que os interesses dos alunos sejam atendidos em diferentes contextos.

Huizinga (2019) enfatiza que “o Jogo é uma função do ser vivo, mas não é passível de definição exata em termos lógicos, biológicos ou estéticos. […] Teremos de limitar-nos a descrever suas principais características”. Resumindo as características formais do jogo, descritas por Huizinga (2019): (i) é uma atividade voluntária e livre, mas ao mesmo tempo capaz de absorver o jogador de maneira intensa e total; (ii) é uma atividade desligada de todo e qualquer interesse material, com a qual não se pode obter lucro; (iii) praticada dentro de limites espaciais e temporais próprios, (iv) segundo uma certa ordem e (v) certas regras; (vi) promove a formação de grupos sociais com tendência a rodearem-se de segredos e a sublinharem sua diferença em relação ao resto do mundo, por meio de disfarces ou outros meios semelhantes. Complementando, os principais elementos dos jogos são: objetivos, interação, regras e restrições, narrativa, recompensas, resultados, feedback, desafio, competição e conflito (VON WANGENHEIM; VON WANGENHEIM, 2012).

Neste contexto, o objetivo deste trabalho é apresentar o Qualif, um ambiente multiplataforma e multijogos para apoiar o ensino-aprendizagem sobre qualidade de software. Além disso, o Qualif é comparado a outros jogos digitais, identificados através do mapeamento sistemático da literatura. Pretende-se responder às seguintes questões de pesquisa:

1. QP1 – Quais jogos digitais apoiam o ensino-aprendizagem sobre qualidade de software, incluindo testes de software?

   QP2 – Quais são as semelhanças entre os jogos digitais identificados, ao compará-los à luz de facetas adaptadas da taxonomia para serious games, proposta por De Lope e Medina-Medina (2017)?

Este artigo retrata a evolução do trabalho publicado por Rocha et al. (2019) no intuito de abordar questões diferentes. As contribuições originais são: (i) atualização do mapeamento sistemático da literatura dos jogos digitais, que apoiam o ensino-aprendizagem sobre qualidade de software, no intuito de abranger os tópicos de testes de software, trabalhos mais recentes, apresentando resposta para QP1; (ii) desenvolvimento do Qualif para apoiar o ensino-aprendizagem de diversos tópicos sobre qualidade de software e (iii) comparação dos jogos digitais selecionados com o Qualif, ou seja, apresentar resposta para QP2.

2 Metodologia

Este trabalho caracteriza-se como uma pesquisa aplicada, abordando um problema cotidiano na formação de profissionais da área de computação: motivar os alunos e tornar o aprendizado sobre qualidade de software mais efetivo. Neste contexto, o trabalho envolveu várias atividades, conforme o modelo de processo da pesquisa (Figura 1).

Figura 1.
Modelo de processo da pesquisa
Fonte: Os autores

Dado o objetivo geral de contribuir com um jogo digital para apoiar o ensino-aprendizagem sobre qualidade de software, fez-se necessário identificar jogos similares. Para isto foi realizada uma revisão ad hoc da literatura no intuito de identificar estudos terciários sobre os jogos no apoio ao ensino-aprendizagem na área de computação. Centenas de jogos foram reportados pelas revisões de literatura de Medeiros, Silva e Aranha (2013), Battistella e Von Wangenheim (2016) e Petri et al. (2019). Contudo, não foi identificado um mapeamento focado, exclusivamente, na disciplina de Qualidade de Software, o que motivou o mapeamento sistemático da literatura, seguindo protocolos predefinidos conforme recomendações de Petersen, Vakkalanka e Kuzniarz (2015) e Kitchenham e Charters (2007). O protocolo explicita as ferramentas de apoio, critérios de seleção e procedimentos para extração dos dados dos artigos, para responder às questões postuladas.

Neste trabalho foram realizadas 4 iterações do mapeamento sistemático da literatura (de E1 a E4), (Quadro 1) para obter artigos em português ou inglês. A principal ferramenta de apoio utilizada foi o Scopus, que compreende mais de 20.000 periódicos científicos, nacionais e internacionais, abrangendo também artigos indexados pelo IEEEXplore, ACM Digital Library, Elsevier e Springer. Também foi utilizado o Google Acadêmico, uma ferramenta popular para busca de publicações científicas, disponível na Internet (COSTAS, 2017, p. 28).

As expressões de busca foram aperfeiçoadas ao longo do tempo no intuito de obter mais jogos digitais, com melhor taxa de retorno (%), isto é, número de artigos selecionados (S) dividido pelo número total de artigos retornados (T). A busca no Google Acadêmico foi realizada em apenas uma iteração porque resultou na menor taxa de retorno, o que requer maior esforço na realização da pesquisa. Para aumentar a confiabilidade da busca, os termos da expressão de busca foram adicionados, com base na menção em artigos obtidos nas iterações anteriores realizadas no Scopus, cujos artigos selecionados foram considerados artigos de controle, ou seja, foram retornados nas buscas subsequentes.

Zhou et al. (2015) afirmam que as revisões de literatura são tão boas quanto as evidências nas quais se baseiam, o que requer também a definição de critérios de qualidade para selecionar os artigos. Neste trabalho foram aplicados os seguintes critérios de inclusão (CI), exclusão (CE) e qualidade (CQ):

1. CI1– Artigos revisados por pares, publicados em periódicos ou conferências.

   CI2– Artigo disponível em texto completo em português ou inglês, com acesso através do serviço CAFe (Comunidade Acadêmica Federada), provido pela Rede Nacional de Ensino e Pesquisa, usando credenciais do IFFluminense.

   CI3– Artigos relacionados ao tópico de interesse da pesquisa, ou seja, relata sobre jogo para apoiar o ensino-aprendizagem sobre qualidade de software.

   CE1– Artigos duplicados.

   CE2– Artigos que não descrevem jogos digitais para apoiar o ensino-aprendizagem sobre qualidade de software.

   CE3 – Artigos com índice de qualidade insuficiente, ou seja, menor que 6, conforme escala para avaliação dos critérios de qualidade (0 – não contempla, 1 – contempla em parte e 2 – contempla).

   CQ1– Artigo apresenta descrição clara do problema de pesquisa e seu contexto.

   CQ2– Artigo apresenta descrição clara dos objetivos da pesquisa.

   CQ3– Artigo apresenta descrição clara dos métodos adotados no desenvolvimento da pesquisa.

   CQ4– Artigo apresenta evidências claras sobre o desenvolvimento ou avaliação do jogo digital.

   CQ5– Artigo explicita limitações da pesquisa ou ameaças à validade.

Os procedimentos do mapeamento envolveram diversas etapas. Primeiro, realizou-se uma filtragem através da interpretação do título e do resumo de todos os artigos, desconsiderando livros, monografias, dissertações, teses e anais de eventos retornados pela expressão de busca. Nesse momento foram avaliados os critérios de inclusão. A segunda etapa consistiu na análise do texto completo para avaliação de sua qualidade e critérios de exclusão. Após seleção, os artigos foram lidos no intuito de extrair os dados para responder às questões postuladas (QP1 e QP2).

A partir das informações sobre os jogos digitais, identificados nas primeiras iterações do mapeamento da literatura (E1 e E2), foi definido o escopo do Qualif, de forma a cobrir tópicos da disciplina de qualidade de software não abordados pelos jogos identificados. Mais especificamente, histórico da qualidade, fundamentos da qualidade, ferramentas para garantia da qualidade e qualidade do produto, no que tange à ISO/IEC 25010: 2011 (ISO/IEC, 2011). Também foram especificados outros requisitos funcionais e não funcionais do Qualif.

O Qualif foi desenvolvido em versões para mobile (smartphone ou tablet com Android) e computador pessoal (Windows 10 ou Linux), usando a plataforma Unity e linguagem de programação C#. O ambiente de execução do jogo é baseado no modelo cliente servidor, cujo banco de dados com cadastros dos jogadores e respectivos desempenhos foram disponibilizados através da Web.

A organização dos dados sobre os jogos identificados, inicialmente, teve como base o mapeamento dos assuntos e tópicos abrangidos pelas ementas da disciplina qualidade de software das principais universidades brasileiras, conforme apresentado por Rocha et al. (2019). Após desenvolvimento do Qualif, foi realizada uma comparação dos jogos selecionados com o Qualif, analisando-os à luz de facetas adaptadas da taxonomia para serious games, proposta por De Lope e Medina-Medina (2017).

A taxonomia CSG (Comprehensive Serious Games) é um sistema de organização do conhecimento que incorpora uma série de conceitos de taxonomias existentes, enriquecidos com novos elementos de categorização, fornecendo uma estrutura adequada e organização semântica (DE LOPE; MEDINA-MEDINA, 2017). Essa taxonomia abrange 16 facetas agrupadas em 6 categorias: desenvolvimento do jogo (autoria e metodologia de desenvolvimento do jogo), plataforma do jogo (hardware e deployment), projeto do jogo (gênero, narrativa, interatividade, contexto de uso e área de aplicação), uso do jogo (avaliação, gameplay e adaptação), usuários do jogo (público-alvo, interação e dedicação) e modelo de negócio (licença). Este sistema de classificação é necessário porque jogos sérios são complexos e, como são multifacetados, devem ser vistos de diferentes perspectivas durante o desenvolvimento e uso (DE LOPE; MEDINA-MEDINA, 2017).

Dado que os artigos selecionados não dispõem de informação sobre todas as facetas, mas, por outro lado, apresentam dados relevantes sobre jogos sérios educativos, algumas facetas foram desconsideradas e outras foram adicionadas. Em consequência, os jogos digitais que apoiam o ensino-aprendizagem sobre qualidade de software foram comparados à luz das seguintes facetas:

• Autoria abrange a identificação do artigo (IDA) cujos dados foram extraídos, relacionando-os aos respectivos autores (Quadro 1); a organização refere-se ao grupo de pesquisa, laboratório ou empresa envolvidos na autoria do artigo; a universidade indica a filiação dos autores, quando for o caso; e país indica a sede da organização ou universidade.

• Modelo de negócio especifica a forma de distribuição do jogo através do tipo de licença. As versões de jogos digitais educativos podem ser distribuídas através de diversas licenças, por exemplo, proprietária, comercial, freeware, free to play e open source.

• Plataforma refere-se aos componentes físicos para os quais o jogo foi desenvolvido, em termos de hardware (computador pessoal, smartphone, tablet) e deployment, ou seja, onde o jogo executa (máquina local ou servidor externo, na Web).

• Projeto do jogo abrange o gênero, interatividade e área de aplicação. De Lope e Medina-Medina (2017) destacaram que não existe um padrão para gênero de jogo, nem um acordo entre as próprias empresas que os desenvolvem. De Lope e Medina-Medina (2017) seguem a categorização de Herz (1997) e sugerem observar as regras do jogo e o projeto gráfico, ao especificar o gênero de um jogo. Neste trabalho, também são consideradas outras taxonomias mais recentes para gêneros de jogos, como as propostas de Wolf (2001) e Teixeira, Jesus e Fernandes (2007), que abrangem: ação, aventura, competição, simulação, plataforma, quiz, role-playing ou RPG, estratégia e puzzle. A interatividade estabelece como os jogadores interagem como o jogo, usando periféricos padrões (baseados em apontadores, cliques ou toques na tela) ou especiais (joystick, óculos 3D, acelerômetros e giroscópios para capturar movimento). A área de aplicação refere-se à educação, mas abrange facetas específicas como o nível de ensino (graduação ou pós-graduação); o nome do curso ou disciplina especificada no artigo; o assunto e respectivos tópicos identificados a partir da análise das informações sobre a finalidade do jogo em relação ao mapeamento das ementas, realizado conforme Rocha et al. (2019).

• Usuário do jogo abrange as facetas: interação e público-alvo. A interação indica o número de jogadores que participam na dinâmica do jogo e como eles interagem uns com os outros. Single player (o jogador alcança o objetivo do jogo individualmente), multiplayer (jogadores colaboram para alcance do objetivo do jogo), que pode ser mais específico MMORPG (Massively Multiplayer online Role-Playing), multiteam (várias equipes competem para alcançar o objetivo do jogo). O público-alvo indica uma faixa etária ou idade para a qual o jogo é adequado, no intuito de evitar conteúdo inapropriado para jogadores mais jovens. Neste trabalho, considera-se que os jogadores são universitários que, geralmente, têm mais de 18 anos.

• Uso do jogo abrange gameplay e avaliação. González Sánchez (2010) define gameplay como o conjunto de propriedades que descrevem a experiência do jogador, ao usar um jogo específico, cujo principal objetivo é entreter de uma maneira ‘’satisfatória e credível’’. De Lope e Medina-Medina (2017) adotam esta definição e consideram que gameplay abrange atributos que podem ser medidos e usados para classificar um jogo, tais como: satisfação, facilidade de aprender a usar o jogo, motivação (percentual de desafios, tempo), estimulação (emocional ou sensorial). Contudo, Vannucchi e Prado (2009) destacaram que o termo gameplay tem diversas definições, contém a fusão de dois termos: jogo (game) e brincadeira (play), de forma que emerge das interações do jogador com o ambiente, a partir da manipulação das regras e mecânicas do jogo, pela criação de estratégias e táticas que torna interessante e divertida a experiência de jogar. Adicionalmente, os atributos satisfação e facilidade de aprender a usar o jogo, citados por De Lope e Medina-Medina (2017) são definidos pela ISO/IEC 25010 (ISO/IEC, 2011) como características de qualidade de produto de software. Em consequência, neste trabalho a faceta gameplay foi substituída por característica, o que permite definir com que enfoque o jogo foi avaliado, em conformidade com a ISO/IEC 25010 (ISO/IEC, 2011). A característica pode ter uma definição, adotada pelos autores do artigo de onde os dados foram extraídos. Deste modo, a faceta avaliação abrange informações sobre como o jogo foi avaliado em relação à característica. Mais especificamente, o tipo de estudo (por exemplo, experimento ou survey); o nome do método seguido, incluindo dados dos autores, quando houver; a especificação dos instrumentos usados ou maneira de medir a característica (por exemplo, questionário e tipo de escala) e os sujeitos que participaram da avaliação (perfil e quantidade).

Os resultados da pesquisa, relacionados ao desenvolvimento do Qualif, são apresentados na seção 3. Os resultados sobre o mapeamento da literatura e comparação dos jogos digitais selecionados, considerando as facetas da taxonomia previamente definidas, são apresentados na seção 4.

3 Qualif

O Qualif é um ambiente multijogos e multiplataforma para apoiar o ensino-aprendizagem sobre qualidade de software. O diagrama de casos de uso do Qualif é apresentado na Figura 2. Esse tipo de diagrama faz parte da UML (Unified Modeling Language) e visa representar as interações entre os atores (usuários) e funcionalidades de software.

Figura 2.
Diagrama de casos de uso do Qualif
Fonte: Os autores

A Figura 3 apresenta a tela principal do Qualif. A partir desta tela, os jogadores podem escolher o gênero de jogo. Na primeira versão estão disponíveis jogos dos gêneros: quiz, forca, memória e plataforma (missão) (Figuras 4; 5; 6 e 7). Os jogadores também podem acessar o próprio cadastro e pontuação, bem como material de referência (livros, artigos e links) que fundamentaram os conceitos sobre qualidade de software, abordados pelo Qualif.

Figura 3.
Tela menu principal do Qualif
Fonte: Os autores

O jogo quiz segue o estilo tradicional de questões de múltipla escolha com cinco opções de resposta, sendo uma correta, que conta ponto para o jogador. Inicialmente, para compor o quiz, foram criteriosamente escolhidas 10 questões, elaboradas por bancas de concursos públicos, como por exemplo: Fundação Carlos Chagas (FCC) e Fundação Getúlio Vargas (FGV). Contudo, outras questões poderão ser adicionadas pelo professor, em versões futuras do Qualif. Esse gênero de jogo pode cobrir diversos tópicos da disciplina qualidade de software, no intuito de revisar conceitos.

Figura 4.
Exemplo do jogo Quiz
Fonte: Os autores

No jogo da forca, o jogador tem que descobrir a palavra secreta, tendo como parâmetro o número de lacunas e técnicas de tentativa e erro. A cada letra errada, é desenhada uma parte do corpo do enforcado. Inicialmente, o jogo da forca refere-se às definições de características de qualidade da ISO/IEC 25010 (ISO/IEC, 2011). Um elemento importante do jogo da forca é a pontuação do jogador, que inicia a partida com 100 pontos, à medida que as letras são digitadas, a pontuação varia conforme o jogador acerta ou erra. Além de estimular a competitividade, a pontuação também funciona como “moeda de troca”, pois o jogador poderá utilizá-la para obter uma dica ou revelar letras ocultas.

Figura 5.
Exemplo do jogo da forca
Fonte: Os autores

O jogo de memória é formado por cartas que apresentam uma figura em um dos lados (alguma ferramenta da qualidade, tipo de teste ou principais autores da área de qualidade). Cada figura se repete em duas cartas diferentes. Para começar o jogo, as cartas são postas com as figuras voltadas para cima, o jogador poderá visualizá-las durante cinco segundos e, em seguida, deverá utilizar sua capacidade de memorização para encontrar os pares correspondentes. Ao encontrar um par correto de cartas, o jogador irá visualizar uma janela com informações sobre o assunto representado nas cartas. Também receberá indicações de referências bibliográficas para que possa estudar sobre o tema.

Figura 6.
Exemplodo jogo da memória
Fonte: Os autores

O jogo de missão é do gênero plataforma, com um roteiro original, em que o jogador controla um personagem (representado por um ninja) e recebe a missão de encontrar uma ferramenta de qualidade, que possa mapear as causas do problema de baixo desempenho de um produto de software hipotético e, posteriormente, entregá-la à equipe de desenvolvimento do software.

Figura 7.
Exemplo do jogo de missão
Fonte: Os autores

A Figura 8 apresenta a tela em que o jogador pode consultar seu desempenho, ou seja, a pontuação obtida ao jogar o quiz e a forca, bem como seu número de partidas, acertos e erros.

Figura 8.
Tela sobre o desempenho do jogador
Fonte: Os autores

Neste trabalho, considera-se que o objetivo dos jogos quiz e forca é revisar tópicos sobre qualidade de software. O Jogo da memória visa proporcionar ao aluno o aprendizado de tópicos que o jogador pode desconhecer. Contudo, no jogo de missão, o jogador precisa aplicar seu conhecimento prévio. Sendo assim, é importante esclarecer que, para uma melhor experiência, recomenda-se que ele jogue primeiramente o jogo da memória, momento em que poderá obter o conhecimento necessário para facilitar o cumprimento adequado da missão.

4 Caracterização e comparação dos jogos digitais

As quatro iterações do mapeamento sistemático da literatura (de E1 a E4) resultaram em milhares de artigos. Após aplicar os critérios de inclusão (CI) ao analisar títulos e resumos, restaram 25 artigos para aplicação dos critérios de qualidade e exclusão, ao analisar o texto completo. O Quadro 2 apresenta a lista de artigos identificados por IDA, oriundos das iterações (IDE). Os critérios de CI1 a CI3 e CE1 a CE2 foram avaliados usando o valor 1 que significa sim e 0 que significa não. O critério CE3 corresponde à soma dos valores atribuídos aos critérios de qualidade. Ao final, foram selecionados 17 artigos referentes a 14 jogos digitais que apoiam o ensino-aprendizagem sobre qualidade de software, publicados entre 2009 e 2019.

O Quadro 3 apresenta a comparação do Qualif (G1) com os demais jogos selecionados (respostas para QP1 e QP2), considerando a autoria, modelo de negócio e plataforma. Observa-se que a maioria das pesquisas (73.3%) sobre jogos digitais é filiada a universidades brasileiras. Esse resultado está de acordo com o ranking das pesquisas realizadas no Scopus, que posicionou o Brasil entre os três principais países.

O Quadro 4 apresenta a comparação em relação ao projeto e usuário de cada jogo (resposta para QP2). A análise dos artigos evidenciou que 46,7% dos jogos são classificados no gênero simulação e um único jogador interage com o jogo (single player) em 66,7% dos casos. A interatividade observada sobre os jogos selecionados foi a padrão, baseada em apontadores, cliques e toques na tela, já que a maioria dos jogos foi desenvolvida para computador pessoal e Web. Além disso, nenhum artigo mencionou a necessidade de periféricos especiais como joystick e óculos 3D.

Quanto à área de aplicação, os jogos são destinados à educação, em nível de graduação e pós-graduação, de cursos de computação/informática. Os principais assuntos e tópicos da disciplina de qualidade de software abordados pelos jogos referem-se a testes de software (46,7%) e qualidade do produto (33.3%). Ressalta-se que Qualif é o único jogo que aborda qualidade do produto com base na norma internacional mais recente, a ISO/IEC 25010:2011.

O Quadro 5 mostra a comparação sobre o uso do jogo, ou seja, forma de avaliação da característica.

Os resultados apresentados no Quadro 5 evidenciam que a maioria dos jogos (86,7%) foram submetidos a algum estudo de avaliação, principalmente via experimentos, em relação a alguma característica. Não foi possível extrair evidências da avaliação sobre dois jogos (G6 e G14). As principais características avaliadas são as definidas no modelo proposto por Savi, Von Wangenheim e Borgatto (2011), mais especificamente, motivação do usuário, experiência do usuário e aprendizagem do usuário.

Ressalta-se que a eficácia avaliada em G1 e desempenho avaliado em G2 também denotam aprendizagem, dados os instrumentos de medição usados (pré e pós-testes), conforme os demais jogos que avaliaram a aprendizagem. Neste caso, os sujeitos que participam do estudo respondem questões sobre determinado tópico de qualidade de software antes e depois de jogar. A aprendizagem é analisada em termos da quantidade de questões respondidas corretamente, ao comparar os resultados do pré e pós-teste. Geralmente, a motivação, experiência do usuário, usabilidade, satisfação e prazer são medidas através de questionários, usando a escala de Likert, seja de 5 ou 7 pontos.

Outra observação refere-se à dificuldade em definir diferenciando os termos eficácia, eficiência e efetividade. Os autores apresentam nenhuma ou diferentes definições e formas de medir tais características, o que dificulta a comparação dos jogos à luz dessas características. Uma sugestão é que os autores as definam e avaliem em conformidade com as normas internacionais ISO/IEC.

A quantidade de sujeitos que participou dos estudos de avaliação variou de 1 a 161. Destaca-se que o número reduzido de participantes implica resultados inconclusivos sobre as características avaliadas, mas pode fornecer feedback significante para apoiar decisões de melhoria no jogo, quanto à usabilidade e ao gameplay, por exemplo.

5 Considerações finais

Este artigo contribuiu com o desenvolvimento e apresentação do Qualif, bem como na identificação (resposta a QP1) e comparação (resposta a QP2) de 15 jogos digitais, que apoiam o ensino-aprendizagem sobre qualidade de software. Foram analisados 8 jogos a mais que em Rocha et al. (2019), à luz de diversas outras facetas. Ressaltamos também que, possivelmente, o número de jogos que apoia o processo de ensino-aprendizagem dessa disciplina seja superior, pois muitos jogos desenvolvidos para outras disciplinas, em especial Engenharia de Software, possuem assuntos correlatos, podendo ser utilizados como ferramentas de motivação em ambas as disciplinas. Além disso, jogos descritos em monografias, dissertações e teses não foram considerados, devido às restrições dos critérios de seleção.

A análise comparativa dos jogos à luz das facetas adaptadas da taxonomia evidenciou algumas similaridades entre os jogos, que geralmente são restritos a alguns tópicos da disciplina qualidade de software, e não cobrem, por exemplo, o tópico sobre o planejamento de sistemas de qualidade. Essa constatação motiva o aprimoramento do Qualif, para incluir outros tópicos em seus jogos.

Como trabalho futuro, também se sugere aprimorar o Qualif, considerando as necessidades de melhorias identificadas ao realizar as avaliações preliminares. Além disso, realizar outros estudos de avaliação, à luz de outras características e usando o modelo proposto por Savi, Von Wangenheim e Borgatto (2011).

Assim como em Rocha et al. (2019), é importante salientar que esta pesquisa possui limitações. Dentre elas, destacam-se algumas ameaças à validade, pois não foi possível identificar a totalidade dos artigos disponibilizados na internet sobre jogos digitais que apoiam o processo de ensino-aprendizagem sobre qualidade de software. Essa limitação se deve a questões tecnológicas, econômicas e sociais, pois existem artigos publicados em idiomas dos quais os pesquisadores não dominam, ou cujo acesso ao texto completo têm custo inacessível. Em consequência, essa pesquisa limitou-se a selecionar artigos conforme critérios definidos no protocolo. Além disso, a expressão de busca pode não ter sido abrangente o suficiente, e o Google Acadêmico apresentou algumas limitações que dificultaram a pesquisa, tanto em relação à expressão de busca e quantidade de artigos retornada. Os resultados também são passíveis de viés dos pesquisadores, devido às suas percepções subjetivas. No intuito de minimizar esse viés, um protocolo para o mapeamento sistemático da literatura foi adotado e os dados extraídos foram revisados por um pesquisador mais experiente.

Referências

ANDREWS, J. H. Killer App: A Eurogame about software quality. In: INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING EDUCATION AND TRAINING, CSEE&T, 26., 2013, San Francisco, California. Anais […]. San Francisco, California, Estados Unidos: IEEE, 2013. p. 319-323.

BATTISTELLA, P.; VON WANGENHEIM, C. G. Games for teaching computing in higher education: a systematic review. IEEE Technology and Engineering Education Journal, v. 9, n. 1, p. 8-30, 2016.

BENITTI, F. B. V.; SOMMARIVA, L. Evaluation of a game used to teach usability to undergraduate students in computer science. Journal of Usability Studies, v. 11, n. 1, p. 21-39, 2015.

BEPPE, T. A. et al. GreaTest: a card game to motivate the software testing learning. In: SIMPÓSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE, 32., 2018, São Carlos, SP, Brasil. Anais […]. p. 298-307.

BUFFARDI, K.; VALDIVIA, P. Bug Hide-and-Seek: An Educational Game for Investigating Verification Accuracy in Software Tests. In: 2018 IEEE FRONTIERS IN EDUCATION CONFERENCE, FIE, 2018, California, Estados Unidos. Anais […]. California, Estados Unidos: IEEE, 2018. p. 1-8.

CLEGG, B. S.; ROJAS, J. M.; FRASER, G. Teaching software testing concepts using a mutation testing game. In: 2017 IEEE/ACM INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING: SOFTWARE ENGINEERING EDUCATION AND TRAINING TRACK, ICSE-SEET, 39., 2017, Buenos Aires, Argentina. Anais […]. Buenos Aires, Argentina: IEEE, 2017. p. 33-36.

CMU, Carnegie Mellon University. SEI, Software Engineering Institute. CMMI® for Development, version 1.2. 2006. Disponível em: http://cc.ee.ntu.edu.tw/~farn/courses/SE/CMMI_DEV_V12.pdf. Acesso em: 10 fev. 2020.

CMU, Carnegie Mellon University. SEI, Software Engineering Institute. CMMI® for Development, version 1.3: Improving processes for developing better products and services. 2010. Disponível em: https://resources.sei.cmu.edu/asset_files/TechnicalReport/2010_005_001_15287.pdf. Acesso em: 11 fev. 2020.

COSTAS, R. Discussões gerais sobre as características mais relevantes de infraestruturas de pesquisa para a cientometria. In: MUGNAINI, R.; FUJINO, A.; KOBASHI, N. Y. (org.). Bibliometria e Cientometria no Brasil: infraestrutura para avaliação da pesquisa científica na Era do Big Data. São Paulo: USP, 2017. p. 19-42.

DAVIS, F. D. Perceived usefulness, perceived ease of use, and user acceptance of information technology. Management Information Systems Quarterly, v. 13, n.3, p. 319-340, set. 1989.

DE LOPE, R. P.; MEDINA-MEDINA, N. A comprehensive taxonomy for serious games. Journal of Educational Computing Research, v. 55, n. 5, p. 629-672, 2017.

DECI, E. L.; RYAN, R. M. Levels of analysis, regnant causes of behavior and well-being: The role of psychological needs. Psychological Inquiry, v. 22, n. 1, p. 17-22, 2011.

ERGOLIST. CheckList. 2011. Disponível em: http://www.labiutil.inf.ufsc.br/ergolist/check.htm. Acesso em: 12 ago. 2018.

FERREIRA, B. et al. Apoiando o Ensino de Qualidade de Software. In: FÓRUM DE EDUCAÇÃO EM ENGENHARIA DE SOFTWARE, FEES, 7., 2014, Maceió, AL, Brasil. Anais […]. Maceió, Brasil: SBC, 2014a. p. 12-21.

FERREIRA, B. M. et al. UsabiliCity: um jogo de apoio ao ensino de propriedades de usabilidade de software através de analogias. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO, SBIE, 25., 2014, Dourados, MS, Brasil. Anais […]. 2014b. p. 1273.

FRASER, G. Gamification of software testing. In: 2017 IEEE/ACM INTERNATIONAL WORKSHOP ON AUTOMATION OF SOFTWARE TESTING, AST, 12., 2017, Buenos Aires, Argentina. Anais […]. Buenos Aires, Argentina: IEEE, 2017. p. 2-7.

FREITAS, S. de. Are games effective learning tools? A review of educational games. Journal of Educational Technology & Society, v. 21, n. 2, p. 74-84, 2018.

FURTADO, L. S.; OLIVEIRA, S. R. B O. A Teaching Method for Software Measurement Process based on Gamification. In: INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING ADVANCES, ICSEA, 12., 2017, Atenas, Grécia. Anais […]. p. 12.

GONZÁLEZ SÁNCHEZ, J. L. Jugabilidad: caracterización de la experiencia del jugador en videojuegos. 2010. Tese (Doutorado em Informática) – Universidade de Granada, Granada, Espanha, 2010. Disponível em: http://digibug.ugr.es. Acesso em: 10 mar. 2020.

HAENDLER, T.; NEUMANN, G. Serious Games for Software Refactoring. In: HAWAII INTERNATIONAL CONFERENCE ON SYSTEM SCIENCES, 52., 2019, Honolulu, Hawaii. Anais […]. p. 181-182.

HERZ, J. C. Joystick nation: How videogames ate our quarters, won our hearts, and rewired our minds. Boston: Little, Brown & Co. Inc., 1997.

HUIZINGA, J. Homo ludens: o jogo como elemento da cultura. Tradução João Paulo Monteiro; revisão da tradução Newton Cunha. 1. ed. São Paulo: Perspectiva, 2019.

ISO/IEC. ISO/IEC 9126-1:2001: Software engineering Product quality. Part 1: Quality model.

ISO/IEC. ISO/IEC 15504-4:2004: Information technology Process assessment. Part 4: Guidance on use for process improvement and process capability determination.

ISO/IEC. ISO/IEC 25010:2011: Systems and software engineering: Systems and software Quality Requirements and Evaluation (SQuaRE): System and software quality models.

JESUS, G. M. et al. Is It Worth Using Gamification on Software Testing Education? An Experience Report. In: BRAZILIAN SYMPOSIUM ON SOFTWARE QUALITY, SBQS 2019, 18., 2019, Fortaleza, Brasil. Anais […]. Fortaleza, Brasil: SBC, 2019. p. 178-187.

JORGE, F. F. et al. A evolução do jogo iTestLearning para o ensino das atividades de execução de testes de software. In: CONFERÊNCIA INTERNACIONAL SOBRE INFORMÁTICA NA EDUCAÇÃO, TISE: Nuevas Ideas en Informática Educativa, 20., 2015, Santiago, Chile. Anais […].

KITCHENHAM, B.; BUDGEN, D.; BRERETON, P. An investigation of software engineering curricula. Journal of Systems and Software, v. 74, n. 3, p. 325-335, 2005.

KITCHENHAM, B.; CHARTERS, S. Guidelines for performing systematic literature reviews in software engineering. Keele University and Durham University Joint Report, 2007. Disponível em: https://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=BDE2BA7D97BFE5E53FEBA66605EBA6F5?doi=10.1.1.117.471&rep=rep1&type=pdf. Acesso em 10 abr. 2018.

KUPSCH, D. C. C; RESENDE, R. S. F. SPIAL: Uma Ferramenta de Apoio ao Aprendizado de Melhoria de Processos de Software. In: CONGRESSO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO. 2., 2013, Campinas, SP, Brasil. Anais […].

LABG, P. Behavioral treatment and bio-behavioral assessment: computer applications. In: SIDOWSKI, J. B.; JOHNSON, J. H.; WILLIAMS, T. A. (org.). Technology in mental health care delivery systems. Norwood: Ablex, 1980. p. 119-137.

LETHBRIDGE, T. C. The relevance of education to software practitioners: data from the 1998 survey. Computer Science Technical Report TR-99-05, School of Information Technology and Engineering, University of Ottawa, Ottawa, Canada, 1999. Disponível em: https://www.researchgate.net/publication/2809490_The_Relevance_of_Education_to_Software_Practitioners_Data_from_the_1998_Survey. Acesso em: 15 maio 2018.

MAXIM, B. R. et al. An agile software engineering process improvement game. In: 2016 IEEE FRONTIERS IN EDUCATION CONFERENCE, FIE, 2016, Erie, Pennsylvania, Estados Unidos. Anais […]. Erie, Pennsylvania, Estados Unidos: IEEE, 2016. p. 1-4.

MEDEIROS, T. J.; SILVA, T. R.; ARANHA, E. H. S. Ensino de programação utilizando jogos digitais: uma revisão sistemática da literatura. Renote, Porto Alegre, v. 11, n. 3, 2013.

MESQUIDA, A.; MAS, A. Experiences on the use of a game for improving learning and assessing knowledge. Computer Applications in Engineering Education, v. 26, n. 6, p. 2058-2070, 2018.

MI, Q. et al. A Gamification Technique for Motivating Students to Learn Code Readability in Software Engineering. In: 2018 INTERNATIONAL SYMPOSIUM ON EDUCATIONAL TECHNOLOGY, ISET, 2018, Osaka, Japão. Anais […]. Osaka, Japão: IEEE, 2018. p. 250-254.

NIELSEN, J. Usability engineering. Londres: Academic Press, 1993.

PEIXOTO, D. C. C., et al. Semiotic Inspection Method in the Context of Educational Simulation Games. In: ANNUAL ACM SYMPOSIUM ON APPLIED COMPUTING, SAC’10, 25., 2010, Sierre, Suíça. Anais […]. Sierre, Suíça: ACM, 2010. p. 1207-1212.

PETERSEN, K.; VAKKALANKA, S.; KUZNIARZ, L. Guidelines for conducting systematic mapping studies in software engineering: an update. Information and Software Technology, v. 64, p. 1-18, 2015.

PETRI, G. et al. Digital Games for Computing Education: What Are the Benefits? In: KRASSMANN, A. L. et al. (org.). Handbook of Research on Immersive Digital Games in Educational Environments. IGI Global, 2019. p. 35-62.

PÖTTER, H. et al. InspectorX: a game for software inspection training and learning. In: 2014 IEEE CONFERENCE ON SOFTWARE ENGINEERING EDUCATION AND TRAINING, CSEE&T, 27., 2014. Anais […]. IEEE, 2014. p. 55-64.

PÖTTER, H.; SCHOTS, M.; WERNECK, V. M. B. Evolução e um estudo exploratório do jogo InspectorX. In: FÓRUM DE EDUCAÇÃO DE ENGENHARIA DE SOFTWARE, FEES’12, 2012, Natal, RN. Anais […].

RIBEIRO, T. P. B; PAIVA, A. C. R. iLearnTest: Educational game for learning software testing. In: 2015 IBERIAN CONFERENCE ON INFORMATION SYSTEMS AND TECHNOLOGIES, CISTI, 10., 2015, Aveiro, Portugal. Anais […]. Aveiro, Portugal: IEEE, 2015. p. 1-6.

ROCHA, M. A. A. et al. Um mapeamento sistemático dos jogos que apoiam o ensino-aprendizagem sobre qualidade de software. In: CONGRESSO INTEGRADO DA TECNOLOGIA DA INFORMAÇÃO, 10., nov. 2019, Campos dos Goytacazes, RJ, Brasil. Anais […].

SALES, A. B.; CLÍMACO, G. S.; SALES, M. B. Aplicação do jogo Usabilicity na disciplina Interação Humano-Computador: um Estudo Comparativo. Revista Tecnologias na Educação, v. 17, n. 8, 2016.

SANTOS, E. D.; OLIVEIRA, S. R. B. Gamification and Evaluation the Use of the Function Points Analysis Technique in Software Quality Subjects: The Experimental Studies. In: SIMPÓSIO BRASILEIRO DE QUALIDADE DE SOFTWARE, SBQS 2018, 17., 2018, Curitiba, PR. Anais […]. Curitiba, PR, Brasil: SBC, 2018. p. 354-362.

SAVI, R.; VON WANGENHEIM, C.; BORGATTO, A. Um Modelo de Avaliação de Jogos Educacionais na Engenharia de Software. In: SIMPÓSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE, SBES 2011, 15., 2011, São Paulo, SP. Anais […].

SILVA, C. et al. gTest Learning: Um Jogo para Ensino Básico de Teste de Software. In: CONGRESSO REGIONAL SOBRE TECNOLOGIAS NA EDUCAÇÃO, 2016, Recife, PE, Brasil. Anais […].

SILVA FILHO, R. L. L. A evasão no ensino superior brasileiro: novos dados. 2017. Disponível em: http://www.institutolobo.org.br/imagens/pdf/artigos/art_088.pdf. Acesso em: 27 ago. 2019.

SILVEIRA, J. L.; THIRY, M.; ZOUCAS, A. C. SPI City: Jogo Educacional para Apoiar o Ensino de Melhoria de Processo de Software. In: SIMPÓSIO BRASILEIRO DE QUALIDADE DE SOFTWARE, SBQS 2013, 12., 2013, Salvador, BA. Anais […]. p. 51-65.

SOFTEX. Associação para Promoção da Excelência do Software Brasileiro. MPS-Melhoria de Processo de Software e Serviços: Guia Geral MPS de Software. Versão 1.2. 2007. Disponível em: http://www.ic.uff.br/~leomurta/papers/MPS.BR_Guia_Geral_V1.2.pdf. Acesso em: 13 fev. 2019.

TEIXEIRA, J. S. F.; JESUS, E. V.; FERNANDES, C. T. A taxonomy of educational games compatible with the LOM-IEEE data model. In: Workshop Brasileiro em Web Semântica e Educação, 1., SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO, SBIE 2007, 18., nov. 2007, São Paulo, SP. Anais […]. p. 37-47.

VALLE, P. H. D.; ROCHA, R. V.; MALDONADO, J. C. Testing Game: An Educational Game to Support Software Testing Education. In: SIMPÓSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE, SBES, 31., 2017, Fortaleza, CE, Brasil. Anais […]. p. 289-298.

VANNUCCHI, H.; PRADO, G. Discutindo o conceito de gameplay. Texto Digital, v. 5, n. 2, p. 130-140, 2009.

VILLAVICENCIO, M.; ABRAN, A. Facts and Perceptions Regarding Software Measurement in Education and in Practice: Preliminary Results. Journal of Software Engineering and Applications, v. 4, n. 4, p. 227–34, 2011.

VON WANGENHEIM, C. G.; VON WANGENHEIM, A. Ensinando computação com jogos. Florianópolis: Bookess Editora, 2012.

VON WANGENHEIM, C. G. et al. Desenvolvimento de um jogo para ensino de medição de software. In: SIMPÓSIO BRASILEIRO DE QUALIDADE DE SOFTWARE, SBQS 2009, 8., 2009, Ouro Preto, MG, Brasil. Anais […]. Ouro Preto, MG, Brasil: SBC, 2009.

VON WANGENHEIM, C. G.; SILVA, D. A. Qual conhecimento de engenharia de software é importante para um profissional de software? In: FÓRUM DE EDUCAÇÃO EM ENGENHARIA DE SOFTWARE, 2., 2009, Fortaleza, CE, Brasil. Anais […]. p. 1-8.

WOLF, M. J. P. Genre and the video game. In: WOLF, M. J. P. The medium of the video game. Texas, Estados Unidos: University of Texas Press, 2001. p. 113-134.

ZHOU, Y. et al. Quality Assessment of Systematic Reviews in Software Engineering: A Tertiary Study. In: INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 19., 2015, Nanjing, China. Anais […]. Nanjing, China: ACM Press, 2015. p. 1-14.

Notas de autor

Información adicional

NOTA: Trabalho originalmente apresentado no X Congresso Integrado da Tecnologia da Informação (CITI): Tecnologias Emergentes: novos desafios na educação e na formação do profissional de TI, 27 a 29 de novembro de 2019, Instituto Federal de Educação, Ciência e Tecnologia Fluminense (IFF), Campos dos Goytacazes, RJ.