プロジェクト番号 20

担当教員

櫻沢繁 高木清二 辻義人 安井重哉

生体信号を利用した身体拡張インタフェース ～ASHURA～
Body Augmentation Interface Using Biological Signal ~ASHURA~
グループA

保坂 渓人

越 優希

阿部 詩織

岩佐 太梧

Group A

Keito Hosaka

Yuuki Koshi

Shiori Abe

Daigo Iwasa

グループB

高橋 那有

森口 和樹

宮本 拓門

山本 一希

Group B

Nayu Takahashi

Kazuki Moriguchi

Takuto Miyamoto

Itsuki Yamamoto

プロジェクトテーマTheme

身体とは何か考え、生体信号を用いた新しい身体拡張型インタフェースをつくる
Considering what the body is, and creating a new body augmentation interface using biological signal
本プロジェクトでは、「身体拡張とは何か考え、生体信号を用いた新しい身体拡張型インタフェースをつくる」というテーマに基づき、表情表出デバイス「EX.Emotion」、また、伸縮する義手デバイス「Aug.Hand」の製作を行った。EX.Emotionは、マスクで隠された表情を表出する。Aug.Handは、義手の前腕部を伸縮させる。本活動では、身体拡張の定義を「身体的能力や知覚システムの制約を超え、自らの一部として利用すること」とした。この定義にのっとってアプローチを行った。そして、筋収縮にともない皮膚表面に発生する表面筋電位を利用することで、より直感的な身体拡張が可能となることが期待される。
In thisproject, based on the theme of "thinking about what body expansion is and creating a new body expansion type interface using biological signals", the facial expression expression device "EX.Emotion" and the expands and contracts Artificial arm
device "Aug.Hand". EX.Emotion expresses the facial expression hidden by the mask. Aug.Hand expands and contracts the forearm of the artificial arm. In this activity, the definition of body expansion is "to go beyond the constraints of physical ability andperceptual system and use it as a part of oneself." We approached this definition. Then, it is expected that more intuitive body expansion will be possible by utilizing the surface myoelectric potential generated on the skin surface due to muscle contraction.

活動内容

Activity

グループA 「表情の再現拡張『EX.Emotion』」

グループB 「伸びる義手『Aug.Hand』」

現在、マスクを着用しながら他者と会話する機会が増えている。その際、口元が隠れているため、自分の表情を伝えにくく、相手の表情が読み取りづらい。このように、マスクを着用することによって、コミュニケーションが阻害されるという問題が存在する。そこで我々は、この問題の解決策として、自分の表情をマスク上に表出する必要があると考えた。まず初めに、顔の表情筋から筋電位を測定し、得られた情報をもとに、「笑顔のとき」と「話しているとき」の2パターンに表情の分類化を行った。そして、表情ごとにドットマトリクスLEDの点灯箇所を変え、自分の表情をマスクの上に表現する出力デバイスを製作した。これにより、マスクを着用した状況において、表情の認識が可能となることが期待され、現状の問題を解消することを目指した。

本グループでは、伸びる義手「Aug.Hand」の製作を進めていましたが、完成に至ることができなかった。よって、構想に関して記載する。我々は人間拡張工学における主要分野の一つである手の機能の拡張に着目した。人間拡張工学とは、人が持つ感覚や運動機能や技術を補綴・拡張・増強することを目的とする学術分野である。また、義手が失った腕部の外見や機能を人工物によって補うためのものである点に着目した。我々は義手を、補う目的ではなく日常における動作を広げる手の拡張の手段として利用した。本取り組みでは義手デバイスに伸縮と把持の機能を持たせる必要がある。ここでは、伸縮部分と把持部分の機構を別々の機器から参照した。伸縮部分の機構は伸縮ブーム構造を応用して稼働させた。把持部分の機構はサーボモータをArduinoによって制御し、アーム部分を稼働させた。本取り組みでは、誰もが利用できる義手デバイスの使用感に関する評価を行うことを目標として活動した。

Nowadays, we often wear masks when we talk to others. At that time, our mouths are hidden, So, it is difficult tofeel the other person's expression and convey one's feelings. Thus, there is a problem that communication is
inhibited by wearing a mask. So, we thought that representing facial expressions on the mask would be thesolution to this problem. First, we measured electromyography from the mimic muscles. Based on theinformation, facial expressions were classified into two patterns: "when smiling" and "when talking". And wecreated a device that changes the lighting position of the dot matrix LED as the expression changes. As a result, it
is possible to express facial expressions on the mask, and it is expected to have an effect that makes it easier torecognize facial expressions.

背景
近年、新型コロナウイルスの流行により、マスク着用が一般化されている。本グループではマスク着用によって、口元が隠れ、表情が見えなくなり、コミュニケーションに悪影響が生じるという点に着目した。我々は、マスク上に表情を表出することが問題の解決策になると考え、マスク型デバイスの作成に取り組んだ。
In recent years, many people wear masks because of coronavirus outbreak. In this group, we focused on theproblem that wearing a mask hides the mouth, makes facial expressions difficult to recognize, and adverselyaffects communication. In order to solve this problem, we worked on the production of a device that expresses
facial expressions on a mask.

目的
表情筋の筋電位を測定して用いることにより、マスク越しでもリアルタイムで表情を表出することができるマスク型デバイスを製作する。これにより、マスクを着用した状況において、表情の認識を支援することを目指す。
By measuring and using the mimic muscles of the electromyography, we produce a mask-type device that can
express facial expressions in real time even through a mask. By this, we aim to support the recognition of facial
expressions in situations where masks are worn.

成果物
本取り組みでは生体信号の筋電を用いた。また、笑顔や口の開閉の際に計測できる筋電位の管理を、ArduinoNanoにて行った。表情の表示は、マトリクスLEDを用いて行った。マスク部
分は3Dプリンターを用いて製作した。表情の種類は「笑顔のとき」と「話しているとき」の2パターンに分類を行った。このデバイスを用いることにより、表情の変化とともに、マスク越しに自分の表情を表出することが可能となる。
In this production, the electromyography of biological signals was used. In addition, we managed theelectromyography, that can be measured when smiling and opening and closing the mouth was performed atArduinoNano. The facial expression was displayed using a matrix LED. We made the mask using a 3D printer. We
categorized the types of facial expressions into two patterns: "when smiling" and "when talking". By using thisdevice, we can display the facial expression on the mask when we change the facial expression.

This group was working on the production of a stretchable artificial arm "Aug.Hand", but could not complete it.
Therefore, the structure will be described. We focused on the expansion of hand function, which is one of themajor fields in human expansion engineering. Human expansion engineering is an academic field that aims toprosthesis, expand, and enhance human senses, motor functions, and techniques. We also focused on the fact thatthe artificial arms are used to supplement the appearance and function of the lost arm. We used artificial arms not
as a supplement but as a means of expanding the hand to expand daily movements. In this effort, it is necessary togive the artificial limb device the function of expansion and contraction and gripping. Here, the mechanisms ofthe telescopic portion and the grip portion are referred to from different devices. The mechanism of the telescopic
part was operated by applying the telescopic boom structure. The mechanism of the grip part controlled the servo
motor by Arduino, and the arm part was operated. In this initiative, we will evaluate the usability of artificial limb
devices that can be used by anyone. In this initiative, we worked with the goal of doing Evaluation of usability ofartificial limb devices that can be used by anyone.

背景
近年、第三の腕や指を6本に拡張するなどの手の機能の拡張に関する研究が行われている。本グループでは、これらの手の機能の拡張に関する研究に着目した。また、義手が失った腕部の外見や機能を人工物によって補うためのものである点に着目した。我々は補う目的ではなく、日常における動作を広げる手の拡張の手段として義手を利用した。
In recent years, research has been conducted on the expansion of hand functions such as expanding the third armand fingers to six. This group focused on research on the expansion of these hand functions. We also focused on
the fact that the appearance and function of the arm lost by the artificial arm is supplemented by an artificial
object. We used artificial arm as a means of expanding the hand to expand daily movements, not as asupplementary purpose.

目的
前腕部に装着し、筋電位を用いて動作する伸縮する義手を製作する。筋電は、随意的な筋収縮に伴う微弱な電位変化として測定されるため、リアルタイムでの動作検出に適している。よって、Aug,Handが道具ではなく、自分の一部であるという認識が大きくなると考えた。
このデバイスを用いて自分の日常における動作を広げ、そのときに得られる身体感覚を評価する。また、この評価を基にデバイスの更なる改善を目指す。
a artificial arms that is attached to the forearm, expands and contracts and operates using myoelectric potential ismanufactured. Since myoelectricity is measured as a weak potential change accompanying voluntary muscle
contraction, it is suitable for motion detection in real time. Therefore, I thought that the recognition thatAug.Hand were not tools but a part of me would increase. Use this device to expand your daily movements andevaluate the physical sensations you get at that time. In addition, based on this evaluation, we aim to further
improve the device.

成果物
本取り組みでは生体信号の筋電を用いた。前腕部に装着するデバイスであり、およそ40センチ程度の伸展と収縮が可能である。重さはおよそ3キロである。表面筋電位は上腕三頭筋で測定し、動力はモータである。伸縮部分ではボールねじを回転させるためにDCモータを、把持部分ではアームの制御のためにサーボモータを利用した。本デバイスの利用者は、前腕部の伸縮と把持機能の体験が可能である。これにより、身体拡張時における身体感覚の評価が可能となる。
In this effort, the electromyography of biological signals was used. It is a device that is attached to the forearmand can be extended and contracted by about 40 cm. It weighs about 3 kg. The surface myoelectric potential ismeasured by the triceps brachii muscle, and the power is a motor. A DC motor was used to rotate the ball screw inthe telescopic part, and a servomotor was used to control the arm in the grip part. The user of this device canexperience the expansion and contraction of the forearm and the gripping function. This makes it possible toevaluate the physical sensation during physical expansion.