Representações de características visuais de baixo custo para recuperação de imagens

Busca por Conteudo Visual em dispositivos Moveis (BCVM) e uma nova area de pesquisa em Recuperacao de Imagem por Conteudo (RIC), que oferece os servicos de busca e recuperacao de informacao visual especificamente para dispositivos moveis. Os principais desafios em Busca por Conteudo Visual em dispositivos Moveis (BCVM)incluem variacoes nas condicoes de captura de imagem, como iluminacao diferente, mudancas de escala e ângulo de visao, limitacoes da bateria e alto custo de rede incorridos pela transmissao de dados.O objetivo principal deste trabalho e a comparacao de tecnicas eficientes e eficazes para extracao de caracteristicas (features) em dispositivos moveis a fim de recuperar imagens principalmente em smartphones. Alcancamos nosso objetivo comparando e propondo tecnicas para compressao de vetor de caracteristica de imagens e representacaode nivel medio (bag of words). Algumas abordagens reduzem o consumo de energia em dispositivos moveis porque elas enviam vetores de caracteristicas mais compactos a serem processadas no lado do servidor. Uma serie de experimentos tambem foram realizados para avaliar aspectos de eficacia, eficiencia e compacidade de caracteristicas extraidas de imagens com o objetivo de realizar recuperacao de imagens por conteudo em dispositivos moveis. Neste caso, o usuario decide a melhor configuracao considerando o triplo trade-off sobre eficacia, eficiencia, e compacidade de caracteristicasvisuais. Desse modo, abordamos duas questoes de pesquisa, a fim de investigar e propor solucoes efetivas para a recuperacao de imagens em dispositivos moveis: 1) representacao de baixo custo para a recuperacao de imagens por conteudo visual em dispositivos moveis e 2) extracao de caracteristicas visuais com informacao espacial. Em primeiro lugar, analisamos o uso de descritores binarios usando representacao de nivel medio e descritores globais (cor, textura e forma) no contexto de recuperacao de imagem em dispositivos moveis, bem como o uso de tecnicas de compressao de caracteristicas de imagem. Nos testamos vinte representacoes de nivel medio de descritores de binarios (cinco descritores binarios quatro estrategias de bag of words: os descritores BinBoost, BRIEF, BRISK, FREAK, ORB com bag of words usando hard assignment com average pooling ou bag of words usando hard assignment com maximum pooling ou bag of words usando soft assignment com average pooling ou bag of words usando soft assignment com maximum pooling), dez descritores de cor, cinco descritores de textura e dois descritores de forma. Nos tambem analisamos o impacto de usar amostragem densa e amostragem esparsa (keypoints) para calcular descritores usando bag of words (a amostragem densa e a melhor opcao). A segunda questao de pesquisa refere-se a investigacao do problema de extrair informacoes espaciais de imagens para melhorar a qualidade da representacao de imagem em dispositivos moveis, que podem ser cruciais para distinguir tipos de objetos e cenas. Os metodos tradicionais de agrupamento (bag of words) geralmente descartam a configuracao espacial na imagem. Nos propomos duas abordagens de spatial bag of visual words chamadas BOBGrid (spatial Bag Of BIC Grid) e BOBSlic (spatial Bag Of Slic) e comparamos elas com o nosso baseline de spatial bag of visual words chamado WSA (visual Word Spatial Arrangement) e com uma melhoria do bag of visual words tradicional chamada BOSSANova (Bag Of Statistical Sampling Analysis). Os experimentos realizados indicam que os descritores BIC (Border/Interior Pixel Classification um descritor de cor) and DEOBSM (bag of words usando amostragem densa, descritor ORB, Soft assignment e Maximum pooling) sao as melhores opcoesconsiderando o triplo trade-off sobre eficacia, eficiencia, e compacidade de caracteristicas visuais. Analises estatisticas mostram que BOBGrid e BOBSlic sao melhores do que nosso baseline WSA no conjunto de dados WANG. BOBGrid e BOBSlic tambem mostraram precisao maior em comparacao ao BOSSANova no conjunto de dados WANG.