FR 2834632 A1 20030718 FR 0200848 A 20020115 l'issue de l'étape b). - 1 La présente invention concerne les dispositifs permettant aux aveugles ou aux mal voyants de lire des livres, des documents ou plus généralement des objets imprimés. Son objet est de mettre à leur disposition un appareil portatif, compact, léger et d'un prix abordable muni de toutes les fonctions nécessaires: acquisition d'une image de l'objet, reconnaissance des caractères et communication du résultat par parole synthétique ou plage de lecture tactile. Les appareils actuellement disponibles sur le marché permettent à un aveugle ou à un mal voyant d'acquérir l'image d'un document plat en le plaçant dans un scanner connecté à un ordinateur puis de reconnaitre les caractères du document grace à un logiciel convenable du commerce, enfin de convertir le texte, toujours avec des logiciels disponibles dans le commerce, soit en parole synthétique émise par le haut parleur dont est muni l'ordinateur, soit en Braille qui sera envoyé sur une plage de lecture tactile connectée à cet ordinateur. De tels ensembles ne permettent de lire que des docoments ou objets plats du fait de l'emploi d'un scanner pour l'acquisition des images. I1 sont de plus lourds, donc difficilement transportables, et couteux. L'objet de la présente invention est de les remplacer par un appareil unique aux possibilités beaucoup plus étendues bien que petit et léger. Parmi les objets que pourrait lire l'utilisateur disposant d'un tel appareil, qu'il pourrait porter en bandoulière comme n'importe quel appareil photographique, donnons à titre d'exemple non limitatif: - les étiquettes sur les boites de conserves et autre produits, - les étiquettes de vêtements, - les menus affichés ou fournis par les restaurants, - les noms de rues et de batiments publics ou autres, 2 5 - le s indications sur le s p ortes de bureaux, - les panneaux indicateurs dans les gares et aéroports, - les panneaux de commande d'appareils ménagers et de distributeurs d'objets divers. Un appareil destiné à permettre à un aveugle de lire au toucher des objets imprimés directement accessibles avait été inventé au début des années 70 par John Linvill, professeur à l'Université de Stanford aux USA. Cet appareil, appelé "Optacon" comportait: - une caméra monochrome rudimentaire, comportant un réseau de 144 photo-detecteurs disposés en 6 colonnes de 24 detecteurs, munie d'un petit objectif produisant sur le detecteur une image à grandissement variable d'un objet placé contre la caméra, cet objet étant illuminé par une minuscule lampe proche de l'objectif, reliée par un cable multi . orms a - un boitier également petit et aisément transportable contenant d'une part une plage de - 2 lecture tactile composée, à l'image de la caméra, de 144 stimulateurs tactiles également disposés en 6 colonnes de 24 points, au pas de 1.25 mm verticalement et de 2.5 mm horizontalement, d'autre part les circuits nécessaires à l'amplification des signaux électriques provenant de la caméra et à la mise en vibration des stimulateurs tactiles correspondants à un photo-détecteur actif, c'est à dire "voyant" une partie de l'objet de luminosité inférieure à un seuil choisi par l'utilisateur pour un texte en noir sur fond blanc, ou supérieure à ce seuil pour un texte en blanc sur fond noir. Cet appareil produisait ainsi une image tactile "vibrante" d'une petite partie de la surface d'un objet contre lequel était appliquée et déplacée sa caméra. Son emploi nécessitant un long et difficile apprentissage, méme pour des aveugles très habitués à lire des livres en Braille, de nombreuses écoles spéciales furent crées lors de sa mise sur le marché avec l'aide financière du gouvernement des USA. Quelques années plus tard, l'arrêt de cette aide financière, entrainant la fermeture de ces écoles, ralentit considérablement la diffusion des Optacons auprés de nouveaux 1 5 utilisateurs. L'apparition de nouvelles technologies, comme par exemple les plages tactiles munies d'actuateurs électro-magnétiques ou piézo-électriques et capables de représenter une ligne de caractères B rail l e, c ombinées avec le dével opp ement de s ordinateurs personnel s, a permis ensuite aux aveugles d'accéder au contenu des documents, de plus en plus nombreux, disponibles sous forme de fichiers numérisés. L'apparition des scanners, puis des logiciels de reconnaissance de caractères, a permis plus tard aux aveugles d'accéder au contenu de documents compatibles avec la technologie utilisée dans les scanners, c'est à dire plats. Depuis la disparition de l'Optacon, vingt ans après sa création, les aveugles sont privés des services qu'il était seul à pouvoir leur rendre: la lecture d'objets imprimés inacce s sible s par l'intermédiaire d'un s canner, so it en rai son de leur forme - étiquettes de boites de conserves par exemple - soit en raison de leur emplacement, soit enfin en raison de la quasi impossibilité de transporter avec soi un scanner et l'ordinateur dont il a besoin. Un appareil capable de leur rendre non seulement les mémes services, mais aussi de leur permettre de lire des livres et des textes portés par des objets d'accès diffcile ou impossible, le tout sans entrainement spécial, est donc un désir que les aveugles expriment unanimement. La fonction la plus importante d'un tel appareil est l'acquisition rapide de l'image de l'objet à lire avec une résolution suff'sante pour la reconnaissance ultérieure des 35 caractères, et selon des procédures accessibles à des aveugles ou des mal voyants. I1 existe depuis peu sur le marché, des caméras digitales munies d'un capteur trichrome comportant plusieurs millions de pixels. Les images de documents imprimés fournies par - 3 ces caméras sont maintenant d'une qualité suffisante pour les logiciels modernes de reconnaissance de caractères. Plusieurs de ces caméras sont munies des fonctions indispensables à un utilisateur aveugle: objectif à focale variable (pour pouvoir cadrer convenablement des objets de tailles différentes à différentes distances) mise au point automatique, réglage automatique de l'exposition et de l'équilibre des couleurs, flash électronique. I1 leur manque un système de cadrage automatique des objets à "photographier" et des accessoires facilitant ce cadrage selon les dimensions et la nature de ces objets. Certaines d'entre elles sont munies d'une sortie vidéo, active pendant les opérations de cadrage et de mise au point. La plupart d'entre elles disposent maintenant de moyens sophistiqués de traitement des images saisies par le capteur mettant en oeuvre des composants électroniques (pro c es seurs numéri ques, mémoire s de plus ieurs centaines de mégabyte s) et de s l ogiciel s puissants et rapides. Elles disposent toutes de moyens de communication (ports série, USB ou "frowire") avec le monde extérieur et méme souvent d'un microphone et d'un petit haut-parleur. On peut s'attendre, dans l'avenir, à des progrès continus de ces caméras sur ces différents plans. Ces caméras constituent donc une excellente base de départ pour la création de l'appareil objet de la présente invention. Un premier objet de la présente invention est de munir ces caméras des logiciels et des fonctions permettant de les transformer en l'appareil unique destiné aux aveugles et aux mal voyants évoqué ci-dessus. Un autre objet de la présente invention est de permettre aux aveugles, grace à cette conception du nouvel appareil, de bénéficier sans retard des progrès continus des caméras digital es et du cout réduit d e l eurs c ompo sants, conséquence d'un marché bi en plus large que celui des aveugles ou des mal voyants. Quels sont les logiciels et les fonctions indispensables pour l'utilisation d'un tel appareil comme "machine à lire" par des aveugles ou des mal voyants? Tout d'abord un logiciel d'aide au cadrage, analysant soit directement les informations fournies par le capteur, soit les signaux qui en sont dérivés et destinés à l'écran LCD ou à la sortie vidéo, pour repérer la présence et la position des bords du document ou de l'objet, et fournissant à l'utilisateur soit des signaux sonores soit des signaux destinés à une plage tactile pour lui permettre d'effectuer le cadrage. Ce logiciel pourrait par exemple servir à commander le fonctionnement d'un dispositif de lecture des pages d'un livre, ayant fait l'objet de notre demande de brevet d'invention en date du 4 Décembre 2001. Ensuite, naturellement, un logiciel de reconnaissance des caractères communiquant ses ré sultats en temp s réel, so it à un logiciel de parole synthéti que, so it à un logicie l de l conversion en Braille. Ensuite, pour les images comportants des éléments graphiques non encore reconnaissable par les logiciels actuellent disponibles, un logiciel permettant de communiquer à une plage tactile, qui comportera naturellement infiniment moins de "pixels" tactiles que le capteur de la caméra, une partie choisie à volonté de cette image, soit brute, soit prétraitée en fonction des besoins 6, exprimés par l'utilisateur. Enfin, l'écran LCD sera remplacé ou complété par une plage tactile "graphique" et Braille de faible épaisseur, lorsqu'une telle plage tactile sera disponible. Cette plage tactile pourrait par exemple être conskuite avec des modules tactiles actionnés par un fil à mémoire de forme, ayant fait l'objet de notre demande de brevet d'invention en date du 15 Octobre 2001. I1 sera aussi utile de remplacer les commandes des fonctions de la caméra par touches et boutons, diffcilement utilisables par des aveugles, par un logiciel de reconnaissance de parole dont la sortie actionnerait directement ces fonctions. Ces différents logiciels, soit nouveaux (cadrage, éléments graphiques), soit disponibles sur le marché (OCR, parole synthétique, reconnaissance de la parole, conversion en Braille), devront eke recompilés à partir des codes source, pour les adapter aux caractéristiques des processeurs numériques déjà utilisés dans les caméras digitales choisies, avec l'aide d'informations fournies par les conskucteurs de ces caméras En résumé, le but de la présente invention est de kansformer un objet maintenant courant et financièrement accessible, la caméra digitale, en une sorte "d'ocil artificiel", en attendant que les progrès technologiques permettent la création de veritables organes de vision implantables. L'invention concerne un dispositif permettant aux aveugles ou aux mal voyants de lire des livres, des documents ou plus généralement des objets imprimés proches ou éloignés, comprenant: - une caméra digitale munie au minimum des éléments et fonctions suivantes: capteur trichrome comportant au moins quatre millions de pixels, objectif à focale variable lui donnant un champ angulaire à l'infini d'au moins 20 à 60 degrés, mise au point automatique par commande électrique de l'infini à 30 cm pour la focale la plus longue et à 4 cm pour la focale la plus courte, réglage automatique de l'exposition (quantité de lumière reçue par le capteur) par commande électrique du diaphragme, réglage automatique de l'équilibre des couleurs, réglage manuel de la durée de l'exposition par commande éleckique de l'obturateur, conversion en temps réel des signaux éleckiques fournis par le capteur durant les opérations de cadrage et de réglage de la caméra en signaux vidéo normalisés, et en signaux destinés à un C:\wndows\TEMP\19574.doc - 4/10 - 21/10/02 - 16:38 - 5 moniteur LCD, proces seur numérique cap ab le d'effectuer ces op érations de conversion en temp s rcel, port de communication bidirectionnel avec un système extérieur pour le transtert des images, port de communication pour la sortie du signal vidéo, r 5 processeur numérique programmable capable d'effectuer sur les images brutes des traitements tels que interpolation à des résolutions inférieures à celle du capteur, compression dans les formats normalisés, le tout dans un temps de l'ordre de quelques secondes, mémoires vive d'une capacité suffisante pour stocker les données voulues pendant le traitement des images et les opérations de conversion en temps réel, environ 192 MBytes, 1 0 mémoire permanente, du type "i lash" ou "eeprom" capable d'une capacité suffisante pour contenir les programmes nécessaires au traitement des images et à leur conversion en temps rcel, environ 32 MBytes, mémoire permanente effaçable et réinscriptible remplaçable par l'usager, telle que "memory stick" ou similaires, d'une cap acité suffis ante pour le sto ckage temporaire d'au moins une image brute à la résolution maximum permise par le capteur, flash électronique à contrôle automatique de la durée de l'éclair pour la capture des images dans l'obscurité ou en éclairage insuffisant, microphone, haut parleur et amplificateurs et convertisseurs analogiques-numériques et vice versa, nocessaires à Ieur fonctionnement, batteries remplaçables par l'usager, de préLérence rechargeables, pour l'alimentation des fonctions de la caméra pendant plusieurs heures, circuits convertisseurs et régulateurs fournissant aux divers éléments électriques les voltages et courants appropriés, dispositifs pour la commande par l'usager des différentes fonctions énuméres ci-dessus, possibilité de télécommande électrique des fonctions principales, au minimum: focale variable, phase de mise au point automatique, capture de l'image, - des moyens pour l'addition à la caméra digitale des fonctions supplémentaires suivantes: - cadrage de l'image à partir d'informations sonores ou tactiles, obtenues par l'analyse des signaux en temps réel fournis par le capteur de la caméra, reconnaissance des caractères contenus dans une image, - conversion des textes reconnus en parole synthétique, - conversion des textes reconnus en Braille intogral ou abrégé, - navigation dans les textes reconnus et stockés temporairement dans la caméra: positionnement en début d'une page, d'un paragraphe, d'une ligne, recherche de mots, etc - traitement des images brutes fournies par la caméra pour le transfert de l'ensemble ou de parties choisies de l'image vers une plage tactile, sous une forme permettant à l'utilisateur aveugle d'appréhender des éléments graphiques de cette image, - commande des fonctions de la caméra à partir de signaux électriques fournis par reconnaissance de la parole de l'utilisateur. C:\windows\TEMP\19574.doc - 5/10 - 21/10/02 - 16:38 l i 2834632 - 6 L'invention concerne également un dispositif dans lequel, d'une part le processeur programmable présent dans la dite caméra est suffisament puissant pour assurer en plus de ses taches normales, l'exécution des dites fonctions supplémentaires à la vitesse désirée, d'autre part v 5 les mémoires déjà présentes dans la caméra digitale contiennent suffisament de place libre pour contenir les logiciels correspondant aux dites fonctions supplémentaires, ainsi qu'un dispositif dans lequel le processeur programmable présent dans la dite caméra est suffisament puissant pour assurer en plus de ses taches normales, l'exécution des dites fonctions supplémentaires à la vitesse désirée, mais dans lequel il est nécessaire d'ajouter des mémoires supplémentaires soit pour contenir les logiciels correspondant aux dites fonctions supplémentaires, soit pour les exécuter dans les conditions requises. Par ailleurs, l'invention peut s'appliquer à un dispositif dans lequel on augmente la puissance du processeur contenu dans la caméra digitale, soit en le remplaçant, soit en lui ajoutant un second processeur numérique compatible avec les circuits restants, avec ou sans mémoires supplémentaires, ou bien à un dispositif dans lequel on remplace un ou plusieurs des circuits imprimés d'origine de la caméra par des cTrcuits compatibles avec les circuits restants, pour amener au niveau voulu soit la puissance du processeur numérique programmable, soit la capacité des mémoires, soit les moyens de communication avec l'usager. L' invention concerne en outre un dispositif dans lequel une plage tactile de dimensions compatibles avec celles de la caméra digitale est ajoutée au moniteur LCD, ou le remplace pour permettre à l'utilisateur de disposer d'une lecture au toucher incorporée, ou bien un dispositif dans lequel tout ou partie des éléments et fonctions supplémentaires sont contenus dans un ensemble extérieur à la caméra digitale, afin de mettre à la disposition des usagers un appareil utilisable, bien que moins commode d'emploi. Selon l'invention, les moyens de cadrage peuvent comporter un dispositif pour la photographie des pages d'un livre selon l'une des demandes de brevet précédemrnent déposées au nom des déposants les 4 Décembre 2001 et 14 janvier 2002. C:\wudows\TF:\19574.doc - 6/10 - 21/10/02 - 16:38 - 7 REVENDICATIONS 1) Dispositifpermettant aux aveugles ou aux mal voyants de lire des livres, des documents ou plus généralement des objets imprimés proches ou éloignés, comprenant: - une caméra digitale munie au minimum des éléments et fonctions suivantes: capteur trichrome comportant au moins quatre millions de pixels, objectif à focale variable lui donnant un champ angulaire à l'infini d'au moins 20 à 60 dogrés, mise au point automatique par commande électrique de l'infini à 30 cm pour la focale la plus longue et à 4 cm pour la focale la plus courte, réglage automatique de l'exposition (quantité de lumière reçue par le capteur) par commande électrique du diaphragme, réglage automatique de l'équilibre des couleurs, réglage manuel de la durée de l'exposition par commande électrique de l'obturateur, conversion en temps réel des signaux électriques fournis par le capteur durant les opérations de cadrage et de réglage de la caméra en signaux vidéo normalisés, et en signaux destinés à un moniteur LCD, 2 0 process eur numérique capable d'effectuer c es op érations de conversion en temp s réel, port de communication bidirectionnel avec un système extérieur pour le transfert des images, port de communication pour la sortie du signal vidéo, processeur numérique programmable capable d'effectuer sur les images brutes des traitements tels que interpolation à des résolutions inférieures à celle du capteur, compression dans les formats normalisés, le tout dans un temps de l'ordre de quelques secondes, mémoires vive d'une capacité suffisante pour stocker les données voulues pendant le traitement des images et les opérations de conversion en temps rcel, environ 192 MBytes, mémoire permanente, du type "flash" ou "eoprom" capable d'une capacité suffisante pour C:\windows\TEMP\19574.doc - 7/10 21/10/02 -1 6:38 - 8 contenir les programmes nocessaires au traitement des images et à leur conversion en temps récl, environ 32 MBytes, mémoire permanente effaçable et réinscriptible remplaçable par l'usager, telle que "memory stick" ou similaires, d'une capacité suffisante pour le stockage temporaire d'au moins une image brute à la résolution maximum permise par le capteur, flash électronique à contrôle automatique de la durée de l'éclair pour la capture des images dans l'obscurité ou en éclairage insuffisant, microphone, haut parleur et amplificateurs et convertisseurs analogiques-numériques et vice versa, nécessaires à leur fonctionnement, batteries remplaçables par l'usager, de préLérence rechargeables, pour l'alimentation des fonctions de la caméra pendant plusieurs heures, circuits convertisseurs et régulateurs fournissant aux divers éléments électriques les voltages et courants appropriés, dispositifs pour la commande par l'usager des différentes fonctions énuméres ci-dessus, possibilité de télécommande électrique des fonctions principales, au minimum: focale variable, phase de mise au point automatique, capture de l'image, - des moyens pour l'addition à la caméra digitale des fonctions supplémentaires suivantes: - cadrage de l'image à pa*ir d'informations sonores ou tactiles, obtenues par l'analyse des signaux en temps réel fournis par le capteur de la caméra, reconnaissance des caractères contenus dans une image, - conversion des textes reconnus en parole synthétique, - conversion des textes reconnus en Braille intégral ou abrégé, - navigation dans les textes reconnus et stockés temporairement dans la caméra: positionnement en début d'une page, d'un paragraphe, d'une ligne, recherche de mots, etc - traitement des images brutes fournies par la caméra pour le transLert de l'ensemble ou de C:\windows\TEMP\1 9574.doc - 8/10 - 2 1/10/02 -1 6:38 parties choisies de l'image vers une plage tactile, sous une forme permettant à l'utilisateur aveugle d' appréhender de s é l ément s graphiques de c ette image, commande des fonctions de la caméra à partir de signaux électriques fournis par reconnaissance de la parole de l'utilisateur. 2) Dispositif selon la revendication 1, caractérisé en ce que d'une part le processeur programmable est adapté pour assurer en plus de ses taches normales, l'exécution des dites fonctions supplémentaires à la vitesse désirée, d'autre part les mémoires dans la caméra digitale contiennent des logiciels correspondant aux dites fonctions supplémentaires. 3) Dispositif selon la revendication 1 ou 2, caractérisé en ce que la caméra présente des mémoires supplémentaires de stockage des logiciels correspondant aux dites fonctions supplémentaires dans les conditions requises. 4) Dispositif selon la revendication 1 ou 2, caractérisé en ce que la caméra présente des mémoires supplémentaires d'exécution des logiciels correspondant aux dites fonctions supplémentaires dans les conditions requises. S) Dispositif selon l'une des revendications 1 à 4, caractérisé en ce que la caméra digitale présente un second processeur numérique remplaçant le processeur d'origine, compatible avec les circuits restants et présentant une puissance supérieure à la puissance du processeur d'origine. 6) Dispositif selon l'une des revendications 1 à 4, caractérisé en ce que la caméra digitale présente en second processeur numérique compatible avec les circuits restants. 7) Dispositif selon la revendication 5 ou 6, caractérisé en ce que le second processeur comporte des mémoires supplémentaires. C:\wndows\TEMP\19574.doc - 9/10 - 21/10/02 - 16:38 - 8) Dispositif selon l'une des revendications 1 à 7, caractérisé en ce que le moniteur LCD présente une plage tactile de dimensions compatibles avec celles de la caméra digitale. 9) Dispositif selon l'une des revendications 1 à 7, caractérisé en ce qu'il présente une plage tactile de dimensions compatibles avec celles de la caméra digitale remplaçant le moniteur LCD. ) Dispositif selon l'une des revendications 1 à 9, caractérisé en ce qu'il présente un ensemble extérieur à la caméra digitale contenant au moins une partie des éléments et fonctions 1 0 supplémentaires