作業自動化に使えるPyAutoGUI紹介　【マウス・キーボード操作】

## はじめに
今回は自作RPAツールとして利用できる「PyAutoGUI」について紹介していきます．

## PyAutoGUIとは
Pythonスクリプトでマウスとキーボードを制御して，「マウス操作の自動化」や「キーボード入力の自動化」を実現します．

## 動作環境
- Python 3.12.0
- PyAutoGUI 0.9.54

PyAutoGUIはpipを使用してインストールできます．
```
pip install pyautogui
```

## コマンド紹介
### 【マウス操作】
マウス操作に関してはモニタの座標(x, y)を使用します．
(0, 0)は左上隅になり，X座標は右に行くほど，Y座標は下に行くほど増加します．
```
0,0       X increases -->
+---------------------------+
|                           | Y increases
|                           |     |
|   1920 x 1080 screen      |     |
|                           |     V
|                           |
|                           |
+---------------------------+ 1919, 1079
```
---
- 左クリック
```python
import pyautogui as pag

pag.leftClick(100, 100) # 座標（x=100, y=100）を左クリック
pag.click(100, 100) # 座標（x=100, y=100）を左クリック
```

---
- 右クリック
```python
import pyautogui as pag

pag.rightClick(100, 100) # 座標（x=100, y=100）を右クリック
pag.click(100, 100, button='right') # 座標（x=100, y=100）を右クリック
```

---
- ダブルクリック
```python
import pyautogui as pag

pag.doubleClick(100, 100) # 座標（x=100, y=100）をダブルクリック
```

---
- マウスクリック（複数回）
```python
import pyautogui as pag

pag.click(100, 100, clicks=2, interval=0.1) # 座標（x=100, y=100）を0.1秒間隔で2回左クリック
pag.click(100, 100, button='right', clicks=3, interval=0.25) # 座標（x=100, y=100）を0.25秒間隔で3回右クリック
```
"clicks" を指定しない場合は1回クリック．
"interval" を指定しない場合は0.1秒間隔でクリック．
"button" を指定しない場合は左クリック．

---
- ドラッグ（マウスをクリックしたまま移動）
```python
import pyautogui as pag

pag.dragTo(100, 100, 1, button='left') #マウスカーソルの現在座標から座標（x=100, y=100）へ1秒かけてドラッグ
pag.drag(100, 100, 1, button='left') #マウスカーソルの現在座標からX座標が-100，Y座標が-100の方向へ1秒かけてドラッグ
```
"dragTo()"は絶対座標の指定に対して，"drag()"は相対座標のドラッグです．
ボタン設定は'left'（左クリック），'middle'（中央ボタン），'right'（右クリック）があります．
使用する際の注意点として，<INS>**第三引数であるduration（移動までの秒数）を指定しないと，一瞬で動きドラッグとして認識されない場合があります．**</INS>

ドラッグ&ドロップはmouseDown()とmouseUp()を使用しても実装できます．
```python
import pyautogui as pag

pag.mouseDown() # マウスボタンを押す（左クリック）
pag.mouseUp() # マウスボタンを離す
pag.mouseUp(button='right') # マウスボタン（右クリック）を離す

# ドラッグ（カーソルの現座標から100, 100までドラッグ）
pag.mouseDown()
pag.moveTo(100, 100) # ※次項説明

# ドラッグ&ドロップ
pag.mouseDown()
pag.mouseUp(100, 100) # マウスを100，100に動かし，左ボタン（左クリック）を離す
```

---
- マウスカーソル移動
```python
import pyautogui as pag

pag.moveTo(100, 100, 1) # 座標（x=100, y=100）へ1秒かけて移動
pag.move(100, 100, 1) # マウスカーソルの現在座標からX座標が100，Y座標が100の方向へ1秒かけて移動
```
カーソル移動もドラッグと同様に，"moveTo()"は絶対座標の指定に対して，"move()"は相対座標のカーソル移動です．
上述のコードでは第三引数にduration（移動までの秒数）を指定していますが，指定がない場合は瞬時に移動します．

---
- マウスのスクロール
```python
import pyautogui as pag

pag.scroll(10) # 10クリック分スクロールアップする
pag.scroll(-10) # 10クリック分スクロールダウンする
pag.scroll(10, 100, 100) # マウスカーソルを100，100に移動し、10クリック上にスクロールする
```
<INS>**クリックのスクロール量はプラットフォームによって異なります．**</INS>

---
### 【キーボード操作】
- 文字の入力
```python
import pyautogui as pag

pag.write('Hello world!') # 瞬時に"Hello world!"と出力する
pag.write('Hello world!', interval=0.1) #各文字の後に0.1秒遅れて"Hello world!"と出力する
```

---
- キーを押す
```python
import pyautogui as pag

pag.press('enter') #Enterキーを押す
pag.press('f1') #F1キーを押す
pag.press('left') #レフトアロー（←）キーを押す

pag.keyDown('shift') # SHIFTキーを押し続ける
pag.keyUp('shift') # SHIFTキーを離す
```
press()はkeyDown() + keyUp()の操作です．
<br></br>
write()と同様に複数のキーを押す場合は，文字列のリストをpress()に渡します．
また，押す回数も設定できます．
```python
import pyautogui as pag

pag.press(['left', 'left', 'left']) # ←キーを3回押す
pag.press('left', presses=3) # ←キーを3回押す
```
<br></br>
hold()を使用して複数キーの同時押しを実現します．
```python
import pyautogui as pag

with pag.hold('shift'):
    pag.press(['a', 'b', 'c']) # 「SHIFT + A」「SHIFT + B」「SHIFT + C」を押す．
```
上記のコードは以下のコードと同等です．
```python
import pyautogui as pag

pag.keyDown('shift')
pag.press('a')
pag.press('b')
pag.press('c')
pag.keyUp('shift')
```

---
- ホットキー，ショートカット
```python
import pyautogui as pag

pag.hotkey('ctrl', 'shift', 'esc') # 「Ctrl，SHIFT，ESC」キーを押す．
```
上記のコードは以下のコードと同等です．
```python
import pyautogui as pag

pag.keyDown('ctrl')
pag.keyDown('shift')
pag.keyDown('esc')
pag.keyUp('ctrl')
pag.keyUp('shift')
pag.keyUp('esc')
```
---
### 以下はpress()，keyDown()，keyUp()，hotkey()で使用する文字列です．
```
['\t', '\n', '\r', ' ', '!', '"', '#', '$', '%', '&', "'", '(',
')', '*', '+', ',', '-', '.', '/', '0', '1', '2', '3', '4', '5', '6', '7',
'8', '9', ':', ';', '<', '=', '>', '?', '@', '[', '\\', ']', '^', '_', '`',
'a', 'b', 'c', 'd', 'e','f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o',
'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '{', '|', '}', '~',
'accept', 'add', 'alt', 'altleft', 'altright', 'apps', 'backspace',
'browserback', 'browserfavorites', 'browserforward', 'browserhome',
'browserrefresh', 'browsersearch', 'browserstop', 'capslock', 'clear',
'convert', 'ctrl', 'ctrlleft', 'ctrlright', 'decimal', 'del', 'delete',
'divide', 'down', 'end', 'enter', 'esc', 'escape', 'execute', 'f1', 'f10',
'f11', 'f12', 'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f2', 'f20',
'f21', 'f22', 'f23', 'f24', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9',
'final', 'fn', 'hanguel', 'hangul', 'hanja', 'help', 'home', 'insert', 'junja',
'kana', 'kanji', 'launchapp1', 'launchapp2', 'launchmail',
'launchmediaselect', 'left', 'modechange', 'multiply', 'nexttrack',
'nonconvert', 'num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6',
'num7', 'num8', 'num9', 'numlock', 'pagedown', 'pageup', 'pause', 'pgdn',
'pgup', 'playpause', 'prevtrack', 'print', 'printscreen', 'prntscrn',
'prtsc', 'prtscr', 'return', 'right', 'scrolllock', 'select', 'separator',
'shift', 'shiftleft', 'shiftright', 'sleep', 'space', 'stop', 'subtract', 'tab',
'up', 'volumedown', 'volumemute', 'volumeup', 'win', 'winleft', 'winright', 'yen',
'command', 'option', 'optionleft', 'optionright']
```