mwirth-epo/epo-nmt-datasets huggingface dataset:
表示装置１０００は、スマートフォン、タブレット、スマートパッド、ＴＶ、モニターなどの様々な電子機器に適用することができる。
It will be understood that, although the terms "first," "second," "third" etc. may be used herein to describe various elements, components, regions, layers and/or sections, these elements, components, regions, layers and/or sections should not be limited by these terms.
一実施例において、基板２００は、ブラケット、ケースなどであってもよく、プラスチックまたは金属素材を含んでもよい。
These terms are only used to distinguish one element, component, region, layer or section from another element, component, region, layer or section.
基板２００は、表示装置１０００の背面の外形を構成し、電子機器の内部の構成要素を、外部のストレスから保護することができる。
Thus, "a first element," "component," "region," "layer" or "section" discussed below could be termed a second element, component, region, layer or section without departing from the teachings herein.
一実施例において、表示パネル１００は、平板表示パネルまたはフレキシブル表示パネルであってもよい。
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting.
例えば、表示パネル１００は、ガラス、プラスチックなどからなるリジッドベース層またはプラスチックフィルムのような可撓性ベース層を含んでもよい。
As used herein, the singular forms "a," "an," and "the" are intended to include the plural forms, including "at least one," unless the content clearly indicates otherwise.
表示パネル１００は、ベース層上に配置される画素回路（複数のトランジスタ）と有機発光ダイオードのような発光素子を利用して映像を表示することができる。
"Or" means "and/or."
発光素子と画素回路は、薄膜封止層で覆われてもよい。
As used herein, the term "and/or" includes any and all combinations of one or more of the associated listed items.
薄膜封止層は、水分と酸素を含む外気環境から、発光素子を密封させて、特性劣化を抑制することができる。
It will be further understood that the terms "comprises" and/or "comprising," or "includes" and/or "including" when used in this specification, specify the presence of stated features, regions, integers, steps, operations, elements, and/or components, but do not preclude the presence or addition of one or more other features, regions, integers, steps, operations, elements, components, and/or groups thereof.
ここで、発光素子は有機発光ダイオードに限定されるものではない。
Furthermore, relative terms, such as "lower" or "bottom" and "upper" or "top," may be used herein to describe one element's relationship to another element as illustrated in the Figures.
例えば、発光素子は、無機発光材料を含む無機発光素子、または、量子ドットを利用して出射される光の波長を変化させて発光する発光素子（量子ドットディスプレイ素子）であってもよい。
It will be understood that relative terms are intended to encompass different orientations of the device in addition to the orientation depicted in the Figures.
表示パネル１００は、複数の画素を含む表示領域ＤＡ及び表示領域ＤＡの少なくとも一側に位置する非表示領域ＮＤＡを含んでもよい。
For example, if the device in one of the figures is turned over, elements described as being on the "lower" side of other elements would then be oriented on "upper" sides of the other elements.
表示パネル１００は、非表示領域ＮＤＡ（例えば、ベゼル）を最小化するために、表示パネル１００の前面の全体が、実質的に表示領域ＤＡに対応することができる。
The exemplary term "lower," can therefore, encompasses both an orientation of "lower" and "upper," depending on the particular orientation of the figure.
図１には、表示パネル１００の前面の一部に非表示領域ＮＤＡが存在するものが示されているが、これに限定されるものではない。
Similarly, if the device in one of the figures is turned over, elements described as "below" or "beneath" other elements would then be oriented "above" the other elements.
例えば、表示領域ＤＡが表示パネル１００の少なくとも一の側面にまで延長されて、エッジディスプレイが具現されてもよく、この場合、非表示領域ＮＤＡは表示パネル１００の側面の一部のみに存在することもできる。
The exemplary terms "below" or "beneath" can, therefore, encompass both an orientation of above and below.
表示領域ＤＡは第１〜第３表示領域ＤＡ１、ＤＡ２、ＤＡ３を含んでもよい。
Spatially relative terms, such as "beneath," "below," "lower," "above," "upper" and the like, may be used herein for ease of description to describe one element or feature's relationship to another element(s) or feature(s) as illustrated in the figures.
第１表示領域ＤＡ１は、センサ３００に重なり合う部分を含んでもよい。
It will be understood that the spatially relative terms are intended to encompass different orientations of the device in use or operation in addition to the orientation depicted in the figures.
第１表示領域ＤＡ１は第１画素密度を有してもよい。
For example, if the device in the figures is turned over, elements described as "below" or "beneath" other elements or features would then be oriented "above" the other elements or features.
第２表示領域ＤＡ２は、表示領域ＤＡの殆どの面積を占有することができる。
Thus, the exemplary term "below" can encompass both an orientation of above and below.
第２表示領域ＤＡ２は第２画素密度を有してもよく、第２画素密度は、第１画素密度より大きく構成されてもよい。
The device may be otherwise oriented (rotated 90 degrees or at other orientations) and the spatially relative descriptors used herein interpreted accordingly.
ここで、画素密度は、該当表示領域の全体の面積に対する、実際の画素が配置される部分の総面積と定義されるか、既設定の単位面積に含まれる画素の総面積と定義されうる。
"About" or "approximately" as used herein is inclusive of the stated value and means within an acceptable range of deviation for the particular value as determined by one of ordinary skill in the art, considering the measurement in question and the error associated with measurement of the particular quantity (i.e., the limitations of the measurement system).
ここで、各画素が配置される部分の面積は、各画素に含まれる発光素子の発光面の面積であってもよい。
For example, "about" can mean within one or more standard deviations, or within ± 30%, 20%, 10%, 5% of the stated value.
例えば、画素が有機発光素子を含む場合、画素の部分の面積は、格子状の画素区画膜の隙間から露出される、アノード電極の面積または発光層の面積であってもよい。
Unless otherwise defined, all terms (including technical and scientific terms) used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs.
これにより、第１表示領域ＤＡ１の光透過率が第２表示領域ＤＡ２の光透過率より高く、第１表示領域ＤＡ１の下方に配置されるセンサ３００により、所定の検知動作が遂行されうる。
It will be further understood that terms, such as those defined in commonly used dictionaries, should be interpreted as having a meaning that is consistent with their meaning in the context of the relevant art and the present disclosure, and will not be interpreted in an idealized or overly formal sense unless expressly so defined herein.
但し、第１画素密度が第２画素密度より低いため、第１表示領域ＤＡ１の輝度が第２表示領域ＤＡ２の輝度より低くなり、このような輝度差がユーザーに視認されて不便をもたらしうる。
Exemplary embodiments are described herein with reference to cross section illustrations that are schematic illustrations of idealized embodiments.
第３表示領域ＤＡ３は第１表示領域ＤＡ１と第２表示領域ＤＡ２との間に配置されてもよい。
As such, variations from the shapes of the illustrations as a result, for example, of manufacturing techniques and/or tolerances, are to be expected.
第３表示領域の画素密度は、第１表示領域ＤＡ１及び第２表示領域ＤＡ２との相対的な距離に応じて異なりうる。
Thus, embodiments described herein should not be construed as limited to the particular shapes of regions as illustrated herein but are to include deviations in shapes that result, for example, from manufacturing.
すなわち、第１表示領域ＤＡ１からの距離と、第２表示領域ＤＡ２からの距離との間の比率に応じて異なりうる。
For example, a region illustrated or described as flat may, typically, have rough and/or nonlinear features.
一実施例において、第３表示領域の画素密度は、第１表示領域ＤＡ１から離れるほど増加するようにすることができる。
Moreover, sharp angles that are illustrated may be rounded.
また、第３表示領域ＤＡ３の画素密度は、第１画素密度より大きく、第２画素密度より小さくてもよい。
Thus, the regions illustrated in the figures are schematic in nature and their shapes are not intended to illustrate the precise shape of a region and are not intended to limit the scope of the present claims.
第３表示領域ＤＡ３の画素密度が、第２表示領域ＤＡ２に近づくほど次第に増加するため、第１及び第２表示領域ＤＡ１、ＤＡ２の相互間の輝度偏差が、第３表示領域ＤＡ３にて次第に変わることができる。
FIG. 1 is a diagram illustrating an embodiment of a display device according to the invention, and FIG. 2 is a cross-sectional view illustrating an embodiment of the display device of FIG. 1.
従って、第１表示領域ＤＡ１と第２表示領域ＤＡ２との間の急激な輝度変化が視認されず、映像品質が改善されうる。
Referring to FIGS. 1 and 2, a display device 1000 may include a display panel 100, a substrate 200, and at least one sensor 300.
一実施例において、第１〜第３表示領域ＤＡ１、ＤＡ２、ＤＡ３は、第１方向ＤＲ１における幅が実質的に同一であってもよい。
In an embodiment, the display device 1000 may include a touch sensor layer 400 and a window layer 500.
例えば、第１方向ＤＲ１は、画素行方向（即ち、走査線の進行方向または１つの走査線に共通して連結される画素の配列方向）に対応しうる。
In an embodiment, the display device 1000 may be applied to various electronic devices, such as a smartphone, a tablet, a smart pad, a television ("TV"), and a monitor.
このように対応する場合、第１画素密度、第２画素密度、及び第３表示領域ＤＡ３の画素密度は、それぞれ、画素行ごとに算出されうるのであり、それぞれの一の画素行に対応する画素の数から類推することができる。
The substrate 200 may hold the display panel 100 and the sensor 300.
センサ３００は、基板２００と表示パネル１００との間に配置されてもよい。
In an embodiment, the substrate 200 may be a bracket, a casing, or the like, and may include a plastic material or a metal material.
即ち、センサ３００は、表示パネル１００の背面の下方に位置することができる。
The substrate 200 may form the appearance of a rear surface of the display device 1000, and may protect components included in an electronic device from external stress.
センサ３００は、平面図にて、第１表示領域ＤＡ１に重なるように配置してもよい。
In an embodiment, the display panel 100 may be a flat display panel or a flexible display panel.
図１の平面図には、第１表示領域ＤＡ１が、センサ３００の配置領域よりも大きい面積で形成されたものが示されているが、第１表示領域ＤＡ１と、センサ３００の配置領域との関係はこれに限定されない。
In an embodiment, the display panel 100 may include a rigid base layer including glass or plastic, or a flexible base layer, such as a plastic film.
例えば、第１表示領域ＤＡ１と、センサ３００が実質的に同じ面積で形成されるか、第１表示領域ＤＡ１がセンサ３００より小さい面積で形成されてもよい。
The display panel 100 may display an image using a pixel circuit (a plurality of transistors) and a light-emitting element, such as an organic light-emitting diode ("OLED"), which are arranged on the base layer.
一実施例において、センサ３００は光検知（例えば、赤外線検知）方式の光学式センサであってもよい。
The light-emitting element and the pixel circuit may be covered with a thin-film encapsulation layer.
一実施例において、センサ３００は、指紋センサ、虹彩認識センサ、動脈センサなどの生体情報センサ３１０を含んでもよい。
The thin-film encapsulation layer may suppress degradation of element characteristics by sealing the light-emitting element from an outdoor air environment including moisture and oxygen.
但し、これは例示的なものであり、光検知方式のセンサ３００は、ジェスチャーセンサ、モーションセンサ、近接センサ、照度センサ、イメージセンサなどをさらに含んでもよい。
Here, the light-emitting element is not limited to such an OLED.
また、カメラ３２０などの光学素子や、スピーカー（または、受話器、もしくはレシーバー(受信機)）などの電子部品が、第１表示領域ＤＡ１の下側に配置されてもよい。
In an embodiment, the light-emitting element may be an inorganic light-emitting element which includes an inorganic light-emitting material, or a light-emitting element (i.e., a quantum dot display element) which emits light by changing the wavelength of emitted light using quantum dots, for example.
光検知方式のセンサ３００に対応する第１表示領域ＤＡ１の開口率（透過率）が高いほど、センサ３００の感度及び精度が増加しうる。
The display panel 100 may include a display area DA which includes a plurality of pixels, and a non-display area NDA which is disposed on at least one side of the display area DA.
従って、第１表示領域ＤＡ１に配置される画素は、他の表示領域より低い画素密度で配置される。
The entire front surface of the display panel 100 may substantially correspond to the display area DA so as to minimize the non-display area NDA (e.g., a bezel).
例えば、第１表示領域ＤＡ１の単位面積当たりの画素数（ｐｉｘｅｌ ｐｅｒ ｉｎｃｈ、ＰＰＩ）は、第２表示領域ＤＡ２の単位面積当たりの画素数より少なくてもよい。
In FIG. 1, although the non-display area NDA is illustrated as being in a portion of the front surface of the display panel, the invention is not limited thereto.
一実施例において、タッチセンサ層４００は、表示パネル１００上に配置されてもよい。
In an embodiment, the display area DA may extend to at least one side surface of the display panel 100, and then an edge display may be implemented, for example.
タッチセンサ層４００は、表示パネル１００の表示領域ＤＡの全面に対応して配置されるか、表示領域ＤＡの全体をカバーしつつ表示領域ＤＡよりも広い面積で形成されてもよい。
In this case, the non-display area NDA may be present only on some of the side surfaces of the display panel 100.
実施例に応じて、タッチセンサ層４００は静電容量方式、抵抗膜方式などで駆動されてもよい。
The display area DA may include first to third display areas DA1, DA2, and DA3.
中継装置２０は、入力装置１０と制御装置３０との間でデータを中継する装置であって、制御回路２１と、メモリ２２と、通信インタフェース２３と、を含んで構成されている。
The relay apparatus 20 is an apparatus that relays data between the inputting apparatus 10 and the control apparatus 30 and is configured including a control circuit 21, a memory 22 and a communication interface 23.
制御回路２１は、集積回路等であって、予め用意されたファームウェアプログラム等に従って中継装置２０全体の動作を制御するための処理を実行する。
The control circuit 21 is an integrated circuit or a like circuit and executes a process for controlling operation of the entire of the relay apparatus 20 in accordance with a firmware program or a like program prepared in advance.
特に本実施形態において制御回路２１は、入力装置１０と制御装置３０との間でデータを中継する処理を行う。
Especially, in the present embodiment, the control circuit 21 performs a process for relaying data between the inputting apparatus 10 and the control apparatus 30.
本実施形態において制御回路２１が実行する制御の内容については、後述する。
Contents of control executed by the control circuit 21 in the present embodiment are hereinafter described.
メモリ２２は、ＲＡＭ等であって、中継対象となるデータ等を一時的に格納する。
The memory 22 is a RAM or a like device and temporarily stores data or the like that is made a relay target.
なお、メモリ２２は制御回路２１内に内蔵されてもよい。
It is to be noted that the memory 22 may otherwise be built in the control circuit 21.
通信インタフェース２３は、入力装置１０、及び制御装置３０のそれぞれとの間でデータを送受信するためのインタフェースである。
The communication interface 23 is an interface for transmitting and receiving data to and from the inputting apparatus 10 and the control apparatus 30.
中継装置２０と制御装置３０との間でデータを送受信するためのインタフェースは、任意のものであってよい。
The interface for transmitting and receiving data to and from the relay apparatus 20 and the control apparatus 30 may be any interface.
ただし、中継装置２０と制御装置３０との間のインタフェースを、入力装置１０とターゲット装置４０との間のインタフェースと同じものにすることで、入力装置１０が備える通信インタフェース１４と中継装置２０が備える通信インタフェース２３を同様の構成とすることができる。
However, by using the interface between the relay apparatus 20 and the control apparatus 30 same as the interface between the inputting apparatus 10 and the target apparatus 40, the communication interface 14 provided in the inputting apparatus 10 and the communication interface 23 provided in the relay apparatus 20 can be made in a similar configuration.
こうすれば、入力装置１０と類似のハードウェア構成を備えるデバイスを中継装置２０として機能させることができる。
This makes it possible for a device having a hardware configuration similar to that of the inputting apparatus 10 to function as the relay apparatus 20.
制御装置３０は、例えばパーソナルコンピュータ等の情報処理装置であって、制御部３１と、記憶部３２と、インタフェース部３３と、を備えている。
The control apparatus 30 is an information processing apparatus such as, for example, a personal computer and includes a control unit 31, a storage unit 32 and an interface unit 33.
また、制御装置３０には、操作デバイス３４、表示装置３５、及びカメラ３６が接続される。
Further, to the control apparatus 30, a manipulation device 34, a display apparatus 35 and a camera 36 are connected.
制御部３１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部３２に格納されているプログラムに従って各種の情報処理を実行する。
The control unit 31 includes at least one processor such as a central processing unit (CPU) and executes various information processes in accordance with a program stored in the storage unit 32.
本実施形態において制御部３１が実行する処理の内容については、後述する。
Contents of the processes executed by the control unit 31 in the present embodiment are hereinafter described.
記憶部３２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部３１が実行するプログラムやその処理対象となるデータを格納する。
The storage unit 32 includes at least one memory device such as a RAM and stores a program to be executed by the control unit 31 and data that become a processing target of the control unit 31.
インタフェース部３３は、中継装置２０との間でデータを送受信するためのインタフェースであって、例えばＵＳＢ等によって中継装置２０とデータを送受信するための通信回路を含んでよい。
The interface unit 33 is an interface for transmitting and receiving data to and from the relay apparatus 20 and may include a communication circuit for transmitting and received data to and from the relay apparatus 20, for example, by the USB.
また、インタフェース部３３は、操作デバイス３４、表示装置３５、及びカメラ３６との間でデータの送受信を行う。
Further, the interface unit 33 performs transmission and reception of data to and from the manipulation device 34, display apparatus 35 and camera 36.
操作デバイス３４はキーボード等を含み、制御装置３０に対する操作入力を受け付ける。
The manipulation device 34 includes a keyboard and so forth and accepts a manipulation input to the control apparatus 30.
表示装置３５は、液晶ディスプレイ等であって、制御装置３０が実行する処理結果を表示する。
The display apparatus 35 is a liquid crystal display or a like display and displays a result of processing executed by the control apparatus 30.
また、カメラ３６は動画像を撮像するデバイスであって、ターゲット装置４０に接続された表示装置４１の画面を撮像する。
Meanwhile, the camera 36 is a device for capturing a moving picture and captures a screen image of the display apparatus 41 connected to the target apparatus 40.
以下、本実施形態に係る情報処理システム１が実現する機能について、説明する。
In the following, functions implemented by the information processing system 1 according to the present embodiment are described.
情報処理システム１は、操作記録モード、記録再現モード、及び所定操作再現モードという複数の動作モードのいずれかで動作する。
The information processing system 1 operates in one of a plurality of operation modes including a manipulation recording mode, a record reproduction mode and a predetermined manipulation reproduction mode.
これらの動作モードのそれぞれにおいて各装置が実行する処理の流れについて、以下順に説明する。
Flows of processing executed by the individual apparatus in the operation modes are described in order below.
まず、操作記録モードにおける処理の流れについて、図２のシーケンス図を用いて説明する。
First, a flow of processing in the manipulation recording mode is described with reference to a sequence diagram of FIG. 2.
操作記録モードは、入力装置１０に対してユーザーが実際に行った操作の内容を、制御装置３０が操作データＤとして記録するための動作モードである。
The manipulation recording mode is an operation mode for allowing the control apparatus 30 to record contents of a manipulation actually performed for the inputting apparatus 10 by the user as manipulation data D.
ターゲット装置４０は、動作モードにかかわらず、所定時間おきにその時点の最新の操作データＤを取得するための取得要求Ｒ１を入力装置１０に対して送信する（Ｓ１）。
The target apparatus 40 transmits an acquisition request R1 for acquiring manipulation data D latest at the point of time to the inputting apparatus 10 at predetermined time intervals regardless of the operation mode (S1).
以下では、ターゲット装置４０が入力装置１０に対して取得要求Ｒ１を送信する時間間隔を、取得間隔Ｔと表記する。
In the following, the time interval after which the target apparatus 40 transmits an acquisition request R1 to the inputting apparatus 10 is referred to as acquisition interval T.
ターゲット装置４０からの取得要求Ｒ１を受け付けると、入力装置１０の制御回路１２は、その時点でメモリ１３に格納されている最新の操作データＤを、取得要求Ｒ１に対する応答Ｒ２としてターゲット装置４０に対して送信する（Ｓ２）。
When the acquisition request R1 from the target apparatus 40 is accepted, the control circuit 12 of the inputting apparatus 10 transmits the latest manipulation data D stored in the memory 13 at the point of time as a response R2 to the acquisition request R1 to the target apparatus 40 (S2).
このとき入力装置１０は、操作データＤをターゲット装置４０に対して送信するのと同じタイミングで、同一の内容の操作データＤを中継装置２０に対して送信する。
At this time, the inputting apparatus 10 transmits, at a timing same as the timing at which it transmits the manipulation data D to the target apparatus 40, the manipulation data D of the same contents to the relay apparatus 20.
つまり、入力装置１０は、取得要求Ｒ１に対する応答Ｒ２として、同一の操作データＤをターゲット装置４０と中継装置２０の双方に並列して送信することとなる。
In short, the inputting apparatus 10 transmits, as the response R2 to the acquisition request R1, the same manipulation data D in parallel to both of the target apparatus 40 and the relay apparatus 20.
さらにその後、入力装置１０は、現時点での各操作部材１１の状態を走査して新たな操作データＤを生成し、メモリ１３内に格納する（Ｓ３）。
Further, the inputting apparatus 10 thereafter scans the state of the manipulation members 11 at the current point of time to generate new manipulation data D and stores the manipulation data D into the memory 13 (S3).
Ｓ３で生成された操作データＤは、次に取得要求Ｒ１が受け付けられた際に応答Ｒ２としてターゲット装置４０に送信される。
The manipulation data D generated in S3 are transmitted as a response R2 to the target apparatus 40 when an acquisition request R1 is accepted next.
つまり、応答Ｒ２が送信されるごとにメモリ１３内の操作データＤは最新の状態を反映した内容に更新されることになる。
Note that it is assumed that the recording process in S3 is completed in a period of time shorter than the acquisition interval T. In other words, every time a response R2 is transmitted, the manipulation data D in the memory 13 is updated to contents that reflect the latest step.
このＳ１〜Ｓ３の処理は、ターゲット操作デバイスがターゲット装置４０に接続されている場合、すなわちターゲット装置４０が本来想定される構成で使用されている場合と同様の処理である。
The processes in S1 to S3 described above are executed repeatedly after every acquisition interval T. The processes in S1 to S3 are processes similar to those in a case in which the target manipulation apparatus is connected to the target apparatus 40, namely, in the case where the target apparatus 40 is used with a configuration that is originally supposed.
また、入力装置１０がターゲット装置４０に送信する操作データＤは、ターゲット操作デバイスがターゲット装置４０に対して送信する操作データＤと同一フォーマットのデータである。
Further, the manipulation data D transmitted from the inputting apparatus 10 to the target apparatus 40 are data of a format same as that of the manipulation data D that are transmitted from the target manipulation apparatus to the target apparatus 40.
そのためターゲット装置４０は、内部で追加的な処理を実行したり特別なインタフェースを備えたりする必要なく、ターゲット操作デバイスが接続されている場合と同様に、入力装置１０から操作データＤを受信して、受信した操作データＤによって示されるユーザーの操作内容に応じた処理を実行することができる。
Therefore, the target apparatus 40 need not execute an additional process in the inside thereof or need not include a special interface, and can receive manipulation data D from the inputting apparatus 10 and execute a process according to manipulation contents by the user indicated by the received manipulation data D.
Ｓ２で送信される操作データＤを受信した中継装置２０は、所定の個数（２以上であってよい）に到達するまで受信した操作データＤを受信順にメモリ２２に格納しておく（Ｓ４）。
The relay apparatus 20 receives the manipulation data D transmitted in S2 and stores the manipulation data D received before the number of such manipulation data D reaches a predetermined number (that may be equal to or greater than 2) in the reception order into the memory 22 (S4).
所定の数に到達した後は、受信タイミングが古いデータから順に削除する。
After the predetermined number is reached, the relay apparatus 20 deletes the manipulation data D in order beginning with data that is older in reception timing.
すなわち、中継装置２０は、入力装置１０から受信した操作データＤを先入れ先出し方式で所定の個数までメモリ２２内にバッファリングする。
In other words, the relay apparatus 20 buffers the manipulation data D received from the inputting apparatus 10 in a first-in first-out fashion into the memory 22 until the predetermined number is reached.
以上説明した入力装置１０及び中継装置２０の処理は、デフォルトの状態で自動的に実行されるものとする。
It is assumed that the processes of the inputting apparatus 10 and the relay apparatus 20 described above are executed automatically in a default state.
その処理の流れとは独立に、制御装置３０は、ユーザーからの指示に応じて、操作内容の記録を開始する（Ｓ５）。
Independently of the flow of processing, the control apparatus 30 starts recording of the manipulation contents in response to an instruction from the user (S5).
操作内容の記録を開始すると、制御装置３０は、ターゲット装置４０と同様に、取得間隔Ｔごとに中継装置２０に対して操作データＤの取得要求Ｒ３を送信する（Ｓ６）。
After recording of the manipulation contents is started, the control apparatus 30 transmits an acquisition request R3 for manipulation data D to the relay apparatus 20 at the acquisition intervals T (S6).
制御装置３０からの取得要求Ｒ３を受け付けると、中継装置２０の制御回路２１は、その時点でバッファリングされている操作データＤのうち、最も古い操作データＤを取得要求Ｒ３に対する応答Ｒ４として制御装置３０に対して送信する（Ｓ７）。
After the acquisition request R3 from the control apparatus 30 is accepted, the control circuit 21 of the relay apparatus 20 transmit the oldest manipulation data D from among the manipulation data D buffered at the point of time as a response R4 to the acquisition request R3 to the control apparatus 30 (S7).
なお、中継装置２０は、応答Ｒ４として制御装置３０に送信された操作データＤをメモリ２２内から削除することとする。
Note that it is assumed that the relay apparatus 20 deletes the data D transmitted as the response R4 to the control apparatus 30 from within the memory 22.
制御装置３０は、Ｓ７で送信された操作データＤを記憶部３２内に格納する（Ｓ８）。
The control apparatus 30 stores the manipulation data D transmitted in S7 into the storage unit 32 (S8).
ユーザーが制御装置３０に対して記録終了の指示を行うまで、以上説明したＳ６〜Ｓ８の処理が取得間隔Ｔごとに繰り返し実行されることにより、制御装置３０は、複数個の操作データＤを入力装置１０が送信した順に記録することができる。
The processes in S6 to S8 described above are repeatedly executed at the acquisition intervals T until the user instructs the control apparatus 30 to end recording, and consequently, the control apparatus 30 can record a plurality of manipulation data D in the order in which they are transmitted from the inputting apparatus 10.
このデータは、入力装置１０がターゲット装置４０に順に送信した操作データＤと完全に同一のものになっている。
The data are fully same as the manipulation data D transmitted in order from the inputting apparatus 10 to the target apparatus 40.
しかしながら、中継装置２０が複数個の操作データＤをバッファリングしておき、ターゲット装置４０が取得要求Ｒ１を送信する取得間隔Ｔと対応する時間間隔で制御装置３０が中継装置２０から操作データＤを順次取得することで、受信タイミングは遅延したとしても、ある時点以降にターゲット装置４０に送信された操作データＤを制御装置３０がもれなく同じ順序で受信し、記録することができる。
Note that it is supposed that, since the relay apparatus 20 buffers a plurality of manipulation data D, the timing at which manipulation data D transmitted from the inputting apparatus 10 arrives at the control apparatus 30 is later than a timing at which the target apparatus 40 receives the same manipulation data D. However, where the relay apparatus 20 buffers a plurality of manipulation data D and the control apparatus 30 sequentially acquires the manipulation data D from the relay apparatus 20 at time intervals corresponding to the acquisition intervals T at which the target apparatus 40 transmits an acquisition request R1, even if the reception time delays, the control apparatus 30 can receive and record the manipulation data D transmitted to the target apparatus 40 after a certain point of time fully in the same order.