# MPEG-7

MPEG-7 é um padrão de descrição de conteúdo multimídia. Foi padronizado na ISO/IEC 15938 (interface de descrição de conteúdo multimídia). Esta descrição será associada ao próprio conteúdo, para permitir a busca rápida e eficiente de materiais de interesse do usuário. MPEG-7 é formalmente chamado de Interface de Descrição de Conteúdo Multimídia. Portanto, não é um padrão que lida com a codificação real de imagens em movimento e áudio, como MPEG-1, MPEG-2 e MPEG-4. Ele usa XML para armazenar metadados e pode ser anexado ao código de tempo para marcar eventos específicos ou sincronizar letras de uma música, por exemplo.
Ele foi projetado para padronizar:
* um conjunto de esquemas de descrição ("DS") e descritores ("D")
* uma linguagem para especificar esses esquemas, chamada de Description Definition Language ("DDL")
* um esquema para codificar a descrição
A combinação de MPEG-4 e MPEG-7 às vezes é chamada de MPEG-47.

## Introdução

MPEG-7 destina-se a fornecer funcionalidade complementar aos padrões MPEG anteriores, representando informações sobre o conteúdo, não o conteúdo em si ("os bits sobre os bits"). Essa funcionalidade é a padronização das descrições de conteúdo multimídia. O MPEG-7 pode ser usado independentemente dos outros padrões MPEG - a descrição pode até ser anexada a um filme analógico. A representação definida no MPEG-4, ou seja, a representação de dados audiovisuais em termos de objetos, é, no entanto, muito adequada ao que será construído no padrão MPEG-7. Essa representação é fundamental para o processo de categorização. Além disso, as descrições do MPEG-7 podem ser usadas para melhorar a funcionalidade dos padrões MPEG anteriores. Com essas ferramentas, podemos construir uma Descrição MPEG-7 e implantá-la. De acordo com o documento de requisitos."

## Parts

O MPEG-7 (ISO/IEC 15938) consiste em diferentes partes. Cada parte cobre um determinado aspecto de toda a especificação.
MPEG-7 Parts :
| Part | Número | Primeira data de lançamento público (Primeira edição) | Última data de lançamento público (última edição) | Última alteração | Titulo | Descrição |
| Part 1 | ISO/IEC 15938-1 | 2002 | 2002 | 2006 | Systems | a estrutura arquitetônica do MPEG-7, o transporte do conteúdo MPEG-7 - TeM (formato textual para MPEG-7) e o formato binário para descrições MPEG-7 (BiM) |
| Part 2 | ISO/IEC 15938-2 | 2002 | 2002 | | Linguagem de definição de descrição | |
| Part 3 | ISO/IEC 15938-3 | 2002 | 2002 | 2010 | Visual | |
| Part 4 | ISO/IEC 15938-4 | 2002 | 2002 | 2006 | Audio | |
| Part 5 | ISO/IEC 15938-5 | 2003 | 2003 | 2015 | Esquemas de descrição multimídia | |
| Part 6 | ISO/IEC 15938-6 | 2003 | 2003 | 2011 | software de referência | |
| Part 7 | ISO/IEC 15938-7 | 2003 | 2003 | 2011 | Teste de conformidade | |
| Part 8 | ISO/IEC TR 15938-8 | 2002 | 2002 | 2011 | Extração e uso de descrições MPEG-7 | |
| Part 9 | ISO/IEC 15938-9 | 2005 | 2005 | 2012 | Profiles e levels | |
| Part 10 | ISO/IEC 15938-10 | 2005 | 2005 | | Definição de esquema | |
| Part 11 | ISO/IEC TR 15938-11 | 2005 | 2005 | 2012 | Esquemas de perfil MPEG-7 | |
| Part 12 | ISO/IEC 15938-12 | 2008 | 2012 | | Formato de consulta | |
| Part 13 | ISO/IEC 15938-13 | 2015 | 2015 | | Descritores compactos para pesquisa visual | |

## Relação entre descrição e conteúdo

Um requisito da arquitetura MPEG-7 é que a descrição deve ser separada do conteúdo audiovisual.
Por outro lado, deve haver uma relação entre o conteúdo e a descrição. Assim, a descrição é multiplexada com o próprio conteúdo.
No lado direito você pode ver essa relação entre descrição e conteúdo.

## MPEG-7 tools

O MPEG-7 usa as seguintes ferramentas:
* Descriptor (D): É uma representação de um recurso definido sintaticamente e semanticamente. Pode ser que um único objeto tenha sido descrito por vários descritores.
* Description Schemes (DS): especificam a estrutura e a semântica das relações entre seus componentes, esses componentes podem ser descritores (D) ou esquemas de descrição (DS).
* Description Definition Language (DDL): Baseia-se na linguagem XML utilizada para definir as relações estruturais entre descritores. Permite a criação e modificação de esquemas de descrição e também a criação de novos descritores (D).
* System tools: Essas ferramentas tratam da binarização, sincronização, transporte e armazenamento de descritores. Também trata da proteção da propriedade intelectual.
No lado direito você pode ver a relação entre as ferramentas MPEG-7.

## Aplicações MPEG-7

Existem muitos aplicativos e domínios de aplicativos que se beneficiarão do padrão MPEG-7. Alguns exemplos de aplicação são:
* Biblioteca digital: Catálogo de imagens/vídeos, dicionário musical.
* Serviços de diretório multimídia: por exemplo, páginas amarelas.
* Seleção de mídia de transmissão: canal de rádio, canal de TV.
* Edição de multimídia: serviço de notícias eletrônicas personalizadas, autoria de mídia.
* Serviços de segurança: Controle de tráfego, cadeias produtivas...
* E-business: processo de busca de produtos.
* Serviços culturais: Galerias de arte, museus...
* Aplicações educacionais.
* Aplicações biomédicas.
* Aplicativos multimídia inteligentes que alavancam a semântica multimídia de baixonível por meio de representação formal e raciocínio automatizado.

## Software e demonstradores para MPEG-7

* Caliph & Emir: Anotação e recuperação de imagens com base em MPEG-7 (GPL). Cria arquivos MPEG-7 XML.
* C# Implementation: Implementação de Código Aberto dos descritores MPEG-7 em C#.
* Frameline 47 Video Notation: Frameline 47 da Versatile Delivery Systems. O primeiro aplicativo MPEG-7 comercial, o Frameline 47 usa um esquema de conteúdo avançado baseado em MPEG-7 para poder anotar arquivos de vídeo inteiros ou segmentos e grupos de segmentos dentro desse arquivo de vídeo de acordo com a convenção MPEG-7 (ferramenta comercial)
* Eptascape ADS200 usa um codificador MPEG 7 em tempo real em um sinal de vídeo de câmera analógica para identificar eventos interessantes, especialmente em aplicações de vigilância, verifique as demos para ver o MPEG-7 em ação (ferramenta comercial)
* IBM VideoAnnEx Annotation Tool: Criação de documentos MPEG-7 para fluxos de vídeo descrevendo a estrutura e fornecendo palavras-chave de um vocabulário controlado (versão binária, licença restritiva)
* iFinder Medienanalyse- und Retrievalsystem: xtração de metadados e mecanismo de busca baseado em MPEG-7 (ferramenta comercial)
* MPEG-7 Audio Encoder: Criação de documentos MPEG-7 para documentos de áudio que descrevem características de áudio de baixo nível (versão binária e fonte, Java, GPL)
* MPEG-7 Visual Descriptor Extraction: Software para extrair descritores visuais MPEG-7 de imagens e regiões de imagens.
* XM Feature Extraction Web Service: As funcionalidades do eXperimentation Model (XM) são disponibilizadas via interface de serviço da web para permitir a caracterização automática de imagens com descrição visual de baixo nível MPEG-7.
* TU Berlin MPEG-7 Audio Analyzer (Web-Demo): Criação de documentos MPEG-7 (XML) para documentos de áudio (WAV, MP3). Todos os 17 descritores de áudio de baixo nível MPEG-7 são implementados (comercial)
* TU Berlin MPEG-7 Spoken Content Demonstrator (Web-Demo): Criação de documentos MPEG-7 (XML) com descrição SpokenContent a partir de um sinal de voz de entrada (WAV, MP3) (comercial)
* MP7JRS C++ Library Implementação MPEG-7 completa das partes 3, 4 e 5 (visual, áudio e MDS) por Joanneum Research Institute for Information and Communication Technologies - Audiovisual Media Group.
* BilVideo-7: compatível com MPEG-7, indexação de vídeo distribuído e sistema de recuperação, suportando consultas complexas, multimodais e compostas; desenvolvido pela Bilkent University Multimedia Database Group (BILMDG).
* UniSay: Análise sofisticada de arquivo de pós-produção e processamento de áudio baseado em MPEG-7.

## Limitações

O padrão MPEG-7 foi originalmente escrito em XML Schema (XSD), que constitui dados semiestruturados. Por exemplo, o tempo de execução de um filme anotado usando MPEG-7 em XML é um dado legível por máquina, portanto, os agentes de software saberão que o número que expressa o tempo de execução é um número inteiro positivo, mas esses dados não são interpretáveis ​​por máquina (não podem ser entendido pelos agentes), pois não transmite semântica (significado), conhecido como “Gap semântico”. Para resolver esse problema, houve muitas tentativas de mapear o esquema XML MPEG-7 para a Web Ontology Language (OWL), que é uma estrutura de dados equivalente aos termos do padrão MPEG-7 (MPEG-7Ontos, COMM, SWIntO, etc.). No entanto, esses mapeamentos não preencheram realmente a "lacuna semântica", porque os recursos de vídeo de baixo nível sozinhos são inadequados para representar a semântica de vídeo. Em outras palavras, anotar um recurso de vídeo extraído automaticamente, como distribuição de cores, não fornece o significado do conteúdo visual real.

## Comparativo

* Material Exchange Format (MXF), um formato de contêiner para vídeo digital profissional e mídia de áudio definido pelo SMPTE.