TestRailを使ってみる

ふだん、テストケースの管理はエクセルを使うことが多いです。
手軽で便利、特別なスキルもお金も掛からないので
利用しているところは多いのではないでしょうか。

とはいえ、万能ではないので不満点もそれなりにあります。
今日はテスト管理ツールのTestRailを使ってみて、
使い勝手や良いところ、悪いところを比較していこうと思います。
入門しやすさも確認してみたいので、
初見でつかいながら記事を書いていこうとおもいます。
そのため、後からわかることもでてきたりしますが、
ご愛嬌ということで。。

※今回はデモ版を利用しています

### そもそもTestRailとはなんぞや？

テクマトリックス株式会社さんが提供されている、
Webベースでテストの管理ができるツールだそうです。
テスト結果の記録や共有、進捗状況の確認ができるんだとか。
くわしくは公式サイトで。

https://www.techmatrix.co.jp/product/testrail/index.html


### Excelでのテスト管理

おそらく多少の違いはあれど、多くのところではこういう感じの
テスト管理ファイルを作成しているのではないでしょうか？

|   |   |   |   |   |   |   |   |   |   |   |   |
|---|---|---|---|---|---|---|---|---|---|---|---|
|No.|テスト内容|確認事項|手順|担当|結果|テスト実施日|障害内容|再テスト結果|再テスト実施日|確認者|完了日|
|１|ボタンクリック|次の画面に遷移すること|「次へ」ボタンをクリック|Qiita|OK|2024/06/20||||atiiq|2024/06/23|
|２|ボタンクリック|前の画面に遷移すること|「前へ」ボタンをクリック|Qiita|NG|2024/06/20|次の画面に遷移した|OK|2024/06/21|atiiq|2024/06/23|
|３|100文字入力する|99文字までしか入らないこと|全角・半角とわず100文字以上入力する|Qiita|OK|2024/06/20||||atiiq|2024/06/23|

No.があって、テスト内容や確認事項、手順、結果や担当など...
どこでも概ねこういった内容になっているのではないでしょうか？
今回は、上記の内容をExcelで管理すると仮定して、
TestRailを使いながら比較をしていこうと思います。

### まずは使ってみる

なにはともあれ、使ってみないことには評価はできません。
デモサイトを利用して、使って見たいと思います。
デモサイトにはチュートリアルがついているので、
まずはそのチュートリアル通りに進めてみます。

#### 概要

以下がデモサイトにログインした直後の画面です。
![Pasted image 20240707182448.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/79c6ad0a-e1e0-140a-560f-4f347dfc10e0.png)


まず目に入ってくる、日付ごとのテスト実行の推移グラフ。
色付けされているし、Retestの結果やFailedも一目瞭然でわかりやすい。

グラフの形も変えることができるし、
日付も調整できるようです。
![Pasted image 20240707182735.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/fe1ee58d-8ceb-b809-5f3c-723fb88875d9.png)


下にはマイルストーンと期日が、その右側にはテストランという項目があります。
テストランというのはプロジェクトに存在する実施するテストの集合のこと、
ということですが、名称がちょっと誤解を招きそうです。

その下には最近のアクティビティですね。

#### テストスイートとケース

お次はテストスイートとケースのタブを開いて見ます。

![Pasted image 20240707183517.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/c612df4f-0a76-1b31-f1ac-aa9aacd0bc41.png)

テストスイートとは、テストケースを目的や対象でグルーピングしたもの、
だそうです。
テストグループのほうがわかりやすいかな？という気がしました。

すでに登録されているマニュアルベーステスト、というテストスイートを開いて見ます。
![Pasted image 20240707183948.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/2f171bba-b015-82f6-104a-e2efb291b256.png)


左側にテスト一覧、真ん中にその詳細、右端はセクションを表しているようです。
機能単位やテストのカテゴリでセクションを作れるのは便利ですね。
見やすくて良いですね。
一覧は列を追加したりできるので、Excelと同じように
担当者や作成日などを表示することも可能なようです。

![Pasted image 20240707184112.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/b24f7232-b54e-92da-9c3a-b5ee70f1680e.png)

#### テストランと結果

お次はテストランと結果というタブです。
こういう画面でした。

![Pasted image 20240707184904.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/16570f94-29e7-f96d-76aa-7e7cf2337f77.png)


現在実施中のテストラン一覧が見えるそうです。
完了済みは下に表示されていますね。

ブラウザーテスト、というテストランの結果を開いて見ます。

![Pasted image 20240707185204.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/fdac0e15-e4b6-2b30-0663-db6f9386af5b.png)


左上の円グラフはこのテストランの結果を表しているようです。
その下はこのテストランのテストケースの一覧表だそう。
どうやら、プロジェクト>テストスイート>テストラン>テストケース、という関係のようです。
Excelに当てはめると、
プロジェクト＝ディレクトリ、
テストスイート＝ファイル、
テストラン＝ファイル内のテストグループ、
テストケース＝セルに書かれたテストケース、
というところでしょうか。
これらを一つの画面で見れるのは便利ですね。

その右側はテストの詳細ですね。
詳細の下、ここから結果を追加することができるようです。

![Pasted image 20240707185923.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/46eb2b96-8723-b7ac-4ea6-87d1b540d478.png)


これは便利でいいですね。
Excelだと、再テスト、再々テストとなっていくと、どんどん行が増えて見づらくなっていきます。

### 試しにテストを追加していってみる

一通りのチュートリアルを見たので、
次はテストを追加して、結果を入力して見たいと思います。

まずはテストスイートを追加します。
![Pasted image 20240707190207.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/06bdd15b-80c1-1e9a-b6cc-edac395100d5.png)


新規機能のテスト、とします。
![Pasted image 20240707190305.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/b55bf311-e25a-ac4d-9ebf-5e5dadd8b761.png)

![Pasted image 20240707190430.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/0ee95724-c73f-8090-9b26-acef844fef2d.png)

お次に、セクションを追加します。
金額計算としておきます。
![Pasted image 20240707190601.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/486610b1-1388-70e4-5697-65347457bc12.png)

追加されました。
![Pasted image 20240707190751.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/dd9b977b-2770-36df-3e6c-661ffee5c5b0.png)


続いて、テストランを追加します。
マイルストーンや担当をここで入れることができるんですね。
ここでは適当にいれてみます。
![Pasted image 20240707190953.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/d3097b34-9f43-317a-f341-e15d8fc3dca5.png)

追加されました。

![Pasted image 20240707191016.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/c9d2d9e4-2f13-c703-20c9-ea1dc6a35a5d.png)


つづいて、スイートに戻って、テストケースをいくつか追加してみます。
![Pasted image 20240707191113.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/005f3939-37f0-9ba5-5d89-9f8e96146b0e.png)


テスト内容、手順などなどを入れていき、追加します。
![Pasted image 20240707191434.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/877d9a4f-55a2-b980-a04b-2c7ad4b0fa7d.png)

追加されました。
![Pasted image 20240707191551.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/879c7857-efc9-2d73-fc88-e155e83427be.png)

ついでにもう一つ追加しておきます。
![Pasted image 20240707191622.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/69a6d641-1373-b7ae-64df-10afbdc27f50.png)

テストスイートを確認します。

![Pasted image 20240707191710.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/03d9ae90-9e10-e2bf-72ab-be29d6b85103.png)


いい感じですね。

では、テストケースをこなして見ます。
テストランと結果、タブに移動して、追加したテストの結果を入れます。
![Pasted image 20240707191824.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/6b65eef8-592f-befe-4336-af34d30c9b50.png)

![Pasted image 20240707191929.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/1d9944a4-9441-39e6-1f95-65a51a1a375e.png)


コメントを追加し、
結果をPassedにします。
![Pasted image 20240707191824.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/b579f8ba-b26e-bc0d-83ee-1c8e9152dd40.png)

![Pasted image 20240707192035.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/4f8f1dfe-3e95-5428-9718-c584e7f12f74.png)

グラフもかわりました。
もう一つの方も結果を入れます。

![Pasted image 20240707192143.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/afa6e201-0f0d-36f0-04ea-a6f90fc87463.png)

![Pasted image 20240707192156.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/45303/6ed0edb0-64d0-32fb-3ee9-0e33871cfd8b.png)

Retestを選ぶと、グラフが黄色くなりましたね。

### 所感

全ての機能を試したわけではないですが、
簡単に書簡をまとめてみます。
#### 良いところ

- グラフィカルでわかりやすい
- GitHubやRedmine等、何かしらのツールに慣れている人には馴染みやすい
- テスト結果の追記が便利
- テストスイートやセクション分けができるので管理がしやすい
- テストケースの追加も予め項目が用意されているので追加しやすい
- Excelのように誰かが勝手に項目を追加したりということがない
- ごちゃごちゃにならずに項目が増えても見やすい
- 検索バーでテストを検索できる

#### 気になるところ

- テストケースを追加するたびに画面遷移があるので、まとめて書きたいときはExcelの方が便利
- わかりにくい用語が多く、すこし学習が必要
- 機能が多めなので中小規模には向かない

### まとめ

結論からいえば、私の会社では導入するメリットは少なそうです。
非常に使い勝手がよく、テスト漏れや、テスト修正漏れ等を防ぐのに有効だと感じましたし、
なによりExcelじゃない、というところにモチベーションアップも感じました。

しかし、組織として考えたとき、お金をかけてまで導入するメリットがあるか？といわれると、
使わない機能も多そうな上、教育も多少は必要となってくると、
かなりの大規模開発でない限りは見送りになるかな、という感想でした。

全てを試してはいませんが、
Excelと比較して大きなデメリットはなさそうなので、
テスト管理に悩んでいる方は検討しても良いのではないかと思いました。