Detetores Automáticos de Plágio
Autor: Carlos A. Gonçalves | Publicado: 2012-05-31T12:12:00-03:00




maio de 2012

A internet trouxe novidades, soluções e alguns problemas. Dentre os últimos, muitos são instigantes. Esse é o caso do plágio, que já gerou inúmeros artigos e ensaios acadêmicos.
O professor ou o tutor da modalidade EaD sabe muito bem da dimensão desse problema que passou a integrar o seu cotidiano. Pelo bem do rigor, devemos reconhecer que esse problema não é exclusivo do EaD, mas parece que esta modalidade de ensino é a que sofre as maiores consequências.
Dentre os assuntos associados à questão, se pode destacar aquele que discute as causas do plágio. Nessa linha, uma abordagem interessante pode ser lida no sítio do Essay Coursework (http://www.essaycoursework.com/free-resources/how-to-write/). Em suma, lá são listados alguns obstáculos que podem ser enfrentados por quem deseja escrever um bom ensaio. Dessa lista, podemos lembrar os seguintes itens: falta familiaridade com o tema, necessidade de se fazer uma pesquisa crítica e de qualidade sobre o tema, pressão por gerar uma idéia original, necessidade de expor claramente a idéia central do ensaio, preocupação em montar uma sequência lógica de apresentação e a necessidade de criar uma introdução atraente e um final forte.
Ao analisar os itens dessa lista de obstáculos, fica fácil concluir que nem todos possuem as habilidades necessárias para produzir um bom texto. E essa é uma das condições que podem levar à tentação do plágio.
Outro tema interessante relativo ao assunto pode ser a análise dos tipos de plágios. Textos interessantes sobre o assunto podem ser acessados no sítio &nbsp;plagiarism.org .
A importância dessa classificação se justifica na medida em que cada tipo de plágio apresenta características que dificultam ou facilitam a sua identificação. Da mesma forma, essas características determinam o desempenho dos programas detetores de plágio, que são o foco deste post.&nbsp;
No link &lt; http://www.plagiarism.org/plag_article_types_of_plagiarism.html&gt; , os autores do artigo começam por fazer uma divisão em duas grandes categorias de plágio, quando a fonte é citada e quando a fonte não é citada. À primeira vista, muitos podem se surpreender com a primeira categoria, pois não são poucos os que acreditam que a simples citação da fonte elimina a caracterização de plágio.&nbsp;
Os autores mostram, no entanto, que os seguintes casos, mesmo quando há citação, podem configurar plágio:
- o plagiador cita os autores da fonte, mas não fornece os dados necessários para localizar a fonte ou, então, fornece dados inexatos;
- o plagiador cita a fonte corretamente, mas não o trecho citado, isto é, não sinaliza claramente (com aspas) os trechos retirados do original; essa manobra faz com que o professor/tutor, ao corrigir o trabalho, aceite a análise e a interpretação do aluno como sendo original.
- o plagiador cita as fontes e parafraseia corretamente, além de usar adequadamente as aspas em todas as citações dos originais. No entanto, esse respeito absoluto às normas esconde uma condição particular: o trabalho não possui idéias originais. Ou seja, há um plágio de idéias.
A seguir, os autores passam a listar alguns exemplos de plágio sem citação da fonte:
- Copia e Cola: esse é o tipo mais fácil de identificar. O texto sob suspeita é uma cópia xerox do original. Neste caso, os detetores de plágio apresentam praticamente 100% de acerto na deteção.
- O plágio disfarçado: o plagiador modifica todas as palavras ou frases do original, substituindo-as por termos seus ou por sinônimos. Em outra técnica, o plagiador adapta idéias de várias fontes, para confundir a deteção do plágio.
- Paráfrase: o plagiador se limita a parafrasear vários artigos distintos, adaptando o texto final para que haja uma certa harmonia.
- O auto-plágio: o plagiador empresta idéias próprias, mas já publicadas em artigos anteriores, sem citar. Tal manobra, retira grande parte da originalidade do trabalho atual.
Neste ponto, acho que já temos dados para entender por que o desempenho de um detetor automático de plágio pode variar muito. Acontece que, via de regra, os métodos de deteção automática de plágio se baseiam em localizar semelhanças entre os textos original e copiado. Este momento também é oportuno para fazer uma diferenciação conceitual entre dois tipos de ferramentas que tem funções semelhantes, mas não iguais: o farejador e o detetor de plágio. O farejador acaba se especializando na deteção da fonte, enquanto o detetor se preocupa em fazer uma análise detalhada do plágio, tentanto qualificar e quantificar a porcentagem de texto copiada. Não é necessário dizer que há ferramentas que mesclam as duas funções e, para elas, não há um nome consensual.
As ferramentas computadorizadas para a deteção de plágio, como em outros casos, se dividem em comerciais e livres. Para manter a coerência com a linha deste blog, me aterei aos softwares livres, ou open source.
Mesmo restringindo o assunto aos programas livres, analisar esse tema é um grande desafio, pois existe uma variedade muito grande de produtos nessa especialidade. Por sorte, localizei um trabalho excelente de pesquisa, cujos resultados usarei para enriquecer este post. Trata-se da tese de mestrado de Eudes C. LIMA, da Universidade Federal de Lavras (1), que apresenta os resultados de um estudo comparativo exaustivo entre os seguintes 4 programas livres: Ferret 4.0, Sherlock, CopyCath Gold e WCopyFind 2.7.
O trabalho de LIMA classificou os softwares Wcopyfind, Ferret e Sherlock, em ordem decrescente de desempenho.
O Wcopyfind (http://plagiarism.bloomfieldmedia.com/z-wordpress/software/wcopyfind/) não busca documentos na web ou na internet diretamente, o que é uma grande limitação. Ou seja, na funciona como farejador e, por isso, se o professor desconfiar que um texto da web foi copiado, ele deve fornecer ao programa um atalho contendo o endereço virtual para que seja possivel haver a comparação entre os textos.

O segundo colocado, o Ferret (http://homepages.feis.herts.ac.uk/~pdgroup/) apresenta características similares ao primeiro, mas tem documentação técnica menos elaborada).

O Sherlock é oferecido em código fonte, o que significa que precisa ser compilado.

Além desses, o Viper (http://www.scanmyessay.com/) é outro programa gratuito e bastante popular, pois tem, como um dos seus recursos, acessar arquivos na internet.

Tentei usar o Wcopyfind e o Viper várias vezes, em mais de um computador, sem sucesso. Os programas puderam ser baixados, mas, por razões diversas, eles travavam e, como resultado, não consegui finalizar nenhum teste prático.

Neste ponto, podemos fazer um primeiro balanço e concluir que as ferramentas acima não atendem a todas as necessidades dos tutores. Apesar de fornecerem relatórios de plágio claros e precisos (o que pode ser importante para instruir um processo jurídico, por exemplo), esses programas possuem algumas características que são limitantes. Por exemplo, o usuário tem que fornecer os dois textos, o original e o suspeito, para que eles possam iniciar a comparação para verificação de plágio. Em outras palavras, eles não farejam, mas comparam textos aos quais deve ter acesso. Coerentes com essa metodologia, muitos deles não possuem acesso à internet, já que não são farejadores. Tal limitação ganha peso quando se sabe que grande parte do plágio provém de copias de textos &nbsp;disponíveis na web.&nbsp;

Evidentemente, mesmo nesse caso, as ferramentas acima não são totalmente inúteis, na medida em que é possível utilizá-las em conjunto com outros programas, mais simples, porém especializados em farejar pela internet. Tomando como exemplo o Wcopyfind, esse procedimento pode ser resumido assim: (i) utilizando um farejador online, detetar o texto original; (ii) transformar os textos original e suspeito em arquivos (texto) compatíveis com o programa; (iii) repassar esses dois textos para o Wcopyfind; (iv) rodar o Wcopyfind e salvar o relatório de saída em arquivo, para consulta posterior.

Outras vezes, quando não há necessidade de um relatório rigoroso de plágio, e quando apenas a deteção da fonte contendo original é suficiente, o farejador online pode ser suficiente. Tudo que nos falta, portanto, é contar com um bom farejador de plágio online.

A má notícia é que não há bons farejadores online gratuitos. Boas ferramentas, como o Turnitin e PlagiarismDetect, cobram cerca de US$ 0,50 por página.&nbsp;

Dentre os gratuitos, qualquer análise deve começar pelo Google Search. Ele pode ser considerado um bom farejador online por vários motivos: é gratuito, rápido e muito eficaz quando se trata de plágio tipo “cópia e cola”. No entanto, quando o plágio é modificado ou a estratégia de busca for inadequada, seu desempenho pode cair absurdamente.

Vejamos um exemplo concreto. Para simular o caso “copia e cola”, tomemos o seguinte trecho retirado do Wikipedia em português, para o verbete “Potencial de Ação”, acessado em maio de 2012:
"Potenciais de ação são disparados quando uma despolarização inicial atinge o potencial limiar excitatório. Esse potencial limiar varia, mas normalmente gira em torno de 15 milivolts acima do potencial de repouso de membrana da célula e ocorre quando a entrada de íons de sódio na célula excede a saída de íons de potássio. O influxo líquido de cargas positivas devido aos íons de sódio causa a despolarização da membrana, levando à abertura de mais canais de sódio dependentes de tensão elétrica . Por esses canais passa uma grande corrente de entrada de sódio, que causa maior despolarização, criando um ciclo de realimentação positiva (feedback positivo) que leva o potencial de membrana a um nível bastante despolarizado.
O potencial limiar pode ser alcançado ao alterar-se o balanço entre as correntes de sódio e potássio. Por exemplo, se alguns canais de sódio estão em um estado inativado (comportas de inativação fechadas), então um dado nível de despolarização irá ocasionar a abertura de um menor número de canais de sódio (os que não estão inativados) e uma maior despolarização será necessária para iniciar um potencial de ação. Essa é a explicação aceita para a existência do período refratário."

Para simular a situação de “plágio disfarçado”, fiz algumas modificações no texto original acima e o resultado foi o seguinte:
"Potenciais de ação (PA) são gerados quando uma despolarização atinge o potencial limiar de excitação. Esse potencial limiar tipicamente encontra-se a 15 mV acima do potencial de repouso de membrana da célula, que vale cerca de -70 mV. Ele ocorre quando a entrada de íons Na+ na célula supera a saída de íons K+. O resultado, que é uma entrada de cargas positivas, causa a despolarização da membrana, levando à abertura de mais canais de Na+ dependentes de voltagem. Por esses canais passa uma grande corrente de sódio, que causa maior despolarização, criando um feedback positivo que leva o potencial de membrana a um valor positivo.
O potencial limiar pode ser alcançado com a alteração do equilíbrio entre as correntes de sódio e potássio. Ilustrando, se alguns canais de Na+ estão inativados (comportas lentas fechadas), então um potencial graduado despolarizante irá abrir um menor número total de canais de Na+ (abrirá apenas os ativáveis) e um maior potencial despolarizante será necessário para iniciar um PA. Essa é a explicação para o período refratário."

Quando o texto original foi apresentado ao Google Search, ele detetou a fonte com tal eficácia que a lista de resultados da busca começou e terminou pela fonte verdadeira (um único resultado), como mostra a imagem abaixo.



======================================




======================================


Quando requisitado a buscar o texto modificado, o Google falhou, como mostra a figura seguinte.




======================================

&nbsp;

====================================

Isso ocorreu, provavelmente, porque a estratégia de busca não combina com o algoritmo “default” empregado pelo Google, que é o da similaridade textual completa. No entanto, ao usarmos um dos seus muitos recursos alternativos de busca, como a de completação de frases, o Google conseguiu localizar a fonte. Usei a seguinte frase-chave: &lt;Potenciais de ação (PA) são gerados quando*&gt;. O asterisco informa ao Google que ele deve buscar frases com complementos diversos a partir do asterisco. Abaixo, uma cópia da tela contendo os resultados.



===================================






====================================

Da lista de resultados, devem ser excluídas as propagandas (ads); ao se fazer isso, fica fácil perceber que o resultado correto segue aparecendo em primeiro lugar da lista, apesar do grande número de resultados (mais de 69 mil).

Esse pequeno exercício serviu para demonstrar que o Google Search pode continuar sendo uma ferramenta farejadora valiosa, mesmo no caso de formas mais elaboradas de plágio, desde que se use a estratégia de busca correta.

Outra solução é empregar um farejador “mais profissional”. A má notícia é que há poucos bons detetores online gratuitos. Pessoalmente, utilizo o &lt;plagiarism-detec.com&gt;. Esta ferramenta possui algumas funções típicas de detetores de plágio e, por isso, pode ser classificado na categoria mista farejador-detetor.

Na execução dos mesmos dois testes realizados anteriormente com o Google Search, esta ferramenta teve sucesso em ambos. A diferença, como era de se esperar, foi na porcentagem de certeza na deteção da fonte correta. Para o caso “copia e cola”, a probabilidade foi de 80%, como pode ser visto cópia da tela abaixo.



==================================

&nbsp;

===================================


Para obter esse resultado, eu escolhi a opção checar “outro texto”, na linha superior de opções do programa, que tem ainda as opções de checar ensaio, checar artigo e checar website, como pode ser observar na figura seguinte.



===================================





===================================

Quando na mesma busca do texto original se usa “check essay”, a eficácia cai para 62%, como mostra a figura seguinte.



==================================

&nbsp;

==================================



Pior ainda, o primeiro resultado desta lista não corresponde à nossa fonte, no Wikipédia. Na realidade, nossa fonte aparece na lista, mas em 4º. Lugar e com 52% de precisão, como mostra a figura seguinte.



===================================

&nbsp;

===================================

Esses resultados mostram que, mesmo em farejadores mais profissionais, a estratégia de busca deve ser eleita com atenção, pois conta para o resultado.

Para encerrar os testes com o &lt;plagiarism-detec.com&gt;, fiz a busca com o texto modificado, para a opção “Check other text”. O resultado encontra-se na figura a seguir.



===================================

&nbsp;

==================================

É possível observar que a precisão caiu bastante no caso do texto modificado (11%). Apesar disso, a nossa fonte aparece em primeiro lugar na lista de resultados. Isso deixou de acontecer quando usei a opção “check essay”, em lugar de “other text”. Neste caso, a precisão caiu para 5%.

Concluindo, podemos observar que não existe uma única ferramenta para responder a todas as necessidades. Mais que isso, mesmo naqueles casos em que o tutor tenha encontrado uma ferramenta “satisfatória”, deve investir um pouco de tempo no estudo dos seus recursos, no sentido de aumentar a eficácia e a acurácia da busca. Em outras palavras, a estratégia da busca, qualquer que seja a ferramenta, deve ser escolhida com atenção.&nbsp;

Para ilustrar esse ponto, vejamos dois exemplos hipotéticos do quadro “não existe crime perfeito”.&nbsp;
(a) Imaginemos um texto muito modificado. Apesar do cuidado que teve para mascarar a cópia, o aluno não alterou a ordem das referências bibliográficas.&nbsp;
(b) Ou, ainda, ao mudar as palavras ou frases, o aluno acabou adotando algumas muito rebuscadas, que se afastam do estilo usual do aluno.&nbsp;

Nesses casos, enquanto a busca pelo texto integral pode ser inútil, a busca focalizada nas referências bibliográficas ou naquela frase especial pode dar frutos.



(1) LIMA, E. C. Análise de técnicas e ferramentas de deteção de plágio, e desenvolvimento de um protótipo de nova ferramenta. Dissertação (mestrado), Universidade Federal de Lavras, Lavras, MG, 2011. Disponivel em: &lt;https://docs.google.com/viewer?a=v&amp;q=cache:JuFNutqbc3IJ:www.bsi.ufla.br/monografias/2011/EudesdeCastroLima.pdf+comparativo+de+detectores+de+pl%C3%A1gio&amp;hl=pt-BR&amp;gl=br&amp;pid=bl&amp;srcid=ADGEESgxCfeQ0r89Z1MgI6u283yZ8JHkfXLOdrgM5jN-sCa3OaZASqPOB77sYu_bkKfYZFf5lctQyAPIv4pCzkn5b0k7bQ08QUNYq0_svWtJC2qUAJMfGzsHljcHve4UODeuHV9Pf_p9&amp;sig=AHIEtbT3fvrwCyye9X8dTRmLDBeUL9321A&gt;. Acesso em: maio de 2012.