テレワークリソースを活用した第三者検証サービス『TESTERA』（テステラ）〜コロナ禍に影響されない全国約3,000名の在宅エンジニアリソースの活用方法とは？〜株式会社楽堂サービス推進事業部
保坂 政仁
2021年 3月 25日

自己紹介
高校卒業後、洋菓子職人を経て進学。アルバイトとして航空宇宙技術研究所（現JAXA）の新型航空機開発チームで科学技術計算部門を担当。卒業後、１年目は証券会社において人工知能で株価のポートフォリオ分析の研究開発を担当。2年目から毛筆ソフトのチーフエンジニアとなり月間400時間労働を経験。その後、医療機器の開発・特許出願、大規模なSE教育センターの立ち上げ、インターネットのボックボーンインフラ保守対応、CRMやセルフオーダリングシステムのコンサルティング等を経験。
All Rights Reserved,Copyright Rakudou,Inc. 2021

1

YouTubeで誰でも見れます
https://www.youtube.com/watch?v=qboCtcEFLSU「テステラ」か「第三者検証」で検索

All Rights Reserved,Copyright Rakudou,Inc. 2021

2

ソフトウェアの第三者検証とは被検証となるソフトウェアの設計、開発、運用などに従事している当事者以外の人や機関がソフトウェアの検証作業(テスト設計、テスト実施、分析など)を実施すること。
当事者以外が検証作業を実施することによって、検証の客観性、信頼性などが高まる傾向があります。

第三者検証のメリット
開発会社様内で、検証を実施する場合、開発に従事したエンジニアがテストを実施する事がよくあります。これは、仕様を熟知しているエンジニアがテスト設計を行えるので、効率的に作業が進むと思われがちですが、被検証となるソフトウェアの機能を客観的に捉え、必要なテストパターンを網羅できているかは、明確ではありません。
All Rights Reserved,Copyright Rakudou,Inc. 2021

3

客観性の向上
第三者だからこそ、第三者目線で、被検証を捉え、ソフトウェアの言語、構造や製造方法に依存せず、テスト観点、テスト項目を洗い出す事が出来ます。

網羅性の向上第三者機関だからこそ、必要なテストパターンが網羅されているかテスト設計についても検証可能です。

不具合の検知率の向上当事者であれば、決まったデータパターンや手順で操作しがちです。これでは、出るべき不具合も埋もれてしまう可能性があります。第三者機関であれば、客観的なテスト観点に基づき、さまざまなテストデータを使い、さまざまなテストパターンをご提案でき、0ベースで検証できます。
All Rights Reserved,Copyright Rakudou,Inc. 2021

4

開発作業の効率化
通常、テストを実施するエンジニアは開発や他業務と兼任している場合がほとんどです。これでは、開発のスケジュールに応じて、必要なタイミングでスムーズに検証ができません。
専任のテストチームを第三者機関で確保する事で、開発後の検証作業が必要に応じて実施でき、不具合発見後のデバック、改修確認の工程も迅速に対応できます。

品質の向上
第三者機関により、検証を実施する事により、検証の客観性、網羅性が向上、当事者では検知しづらい不具合も、第三者機関による検証で、検知できる場合もあり、全体的に検証自体の品質向上に繋がります。

All Rights Reserved,Copyright Rakudou,Inc. 20215

標準的な第三者検証サービスその１SES（システムエンジニアリングサービス）
SES契約では、システムエンジニアの能力を契約の対象とし、客先のオフィスにエンジニアを派遣して（常駐）、技術的なサービスを提供します。

・契約が人月単位でスキルの高いエンジニアは単価が高い。
・就労場所やPC等の準備が必要。
・テスト作業が無い場合でも工数が発生する。
・契約が終了するとノウハウを拾得した同じエンジニアを再度派遣してもらうことは難しく、１から教え直さないとならない。
All Rights Reserved,Copyright Rakudou,Inc. 20216

標準的な第三者検証サービスその2請負契約
請負契約では、第三者検証機関が自社のテストエンジニアリソースを活用して、常駐はせず、持ち帰りで品質検証・評価を行う。

・閑散期にもリソースを保有しなければならず、繁忙期にはリソース不足になるので、コストが掛かる。
⇒見積金額が高くなる。
・オフショアを利用すると言語問題で再チェックが必要になる。
⇒工数が増加する。
All Rights Reserved,Copyright Rakudou,Inc. 2021

7

ソフトウェアテストの受託サービス

TESTERAについて（テステラ）

All Rights Reserved,Copyright Rakudou,Inc. 20218

このようなお客様にお勧めします!
① テストエンジニアリソースが十分に確保できない不足分
必要数

開発も・・・② 開発者がテストを実施し、テストもか検証客観性が担保できない③ テスト工程の予算が十分確保できない

これだけしか集まらな
いのか・・・

コスト削減④ 開発者のリソースが不足している

All Rights Reserved,Copyright Rakudou,Inc. 2021

9

TESTERAの特⾧■国際標準SQuaRE（ISO/IEC25000シリーズ）に準拠して実施■ハイスキルで豊富な経験を兼ね備えたプロのテストエンジニアが実施■検証結果のダブルチェック■開発プロジェクトへ初期から参画■プロジェクト全体の期間短縮と一層のコ■一般的な人月費用の約40～50％■テスト実行チームはプロジェクト毎に都高品質度編成

スト削減可能Wモデル

低コスト対応可能
RTESTERA■上流工程の遅延もテストチ■ハイスキルなテストエンジニアームを柔軟に再編成してカバー可能の集中投入で短納期実現

柔軟性

All Rights Reserved,Copyright Rakudou,Inc. 2021

スピード

10

楽堂の第三者検証サービスその１
仕様書インスペクション
テスト計画・テスト設計支援の為のヒアリング

お客様

テスト仕様書作成及びテスト実施のマネージメントと進捗・結果報告

テストマネージャー
テスト仕様
書提供・テ
ストエンジ
ニアのマネージメント

不具合報告・
テスト結果報告・エビデン
ス等の提出

テスト環境
リモート接続し、テスト実施

All Rights Reserved,Copyright Rakudou,Inc. 2021

テストエンジニア11セキュアな検証環境
テスター

リモート

仮想テスト環境

デスクトップ#1

セキュリティ
ポート指定

Gate

リモート
デスクトップ#2

・・・
・

お客様

サーバ

開発環境

（VMウエア搭載）

楽堂社内

リモート
デスクトップ#N

仮想デスクトップ（VDI*）採用

お客様の必要に応じて＊VDI:Virtual Desktop Infrastructure

常時稼動可能All Rights Reserved,Copyright Rakudou,Inc. 2021

SSL等のセキュアな環境で接続

12

楽堂の第三者検証サービスその２毎日増え続けるテストエンジニアリソースを活用して、常駐はせず、持ち帰りでベテランテストマネージャーのマネージメントの管理の下、品質検証・評価を行う。

・全国約3,000名の高スキル低コストのリソースを必要な時に必要な期間だけ活用したサービスの提供

・テストマネージャー及びテストエンジニアは短期間（人日）単位での稼動が可能
・24時間365日対応可能
・テスト自動化ツールを活用したハイブリッドなサービスを提供All Rights Reserved,Copyright Rakudou,Inc. 2021

13

Wモデル対応可能
テスト設計を上流工程から開始し、開発プロセスと検証プロセスを同時並行に進めるプロセスモデル
要件
定義

W

テスト工
程開始

受入
テストシステム
導入

モデル
システム
基本設計

システムテ
スト設計

システム
統合システムテスト

特⾧【プロジェクト全体】
・後工程の前倒しにより、前工程に潜む問題を早期に明確化し、後工程での手戻りを未然防止

構造設計

結合テスト設計

ソフト結合

結合テスト

・開発から検証に移るリードタイムの削減
・要求項目とテスト項目のトレーサビリティが可能

システム詳細設計

単体テスト
設計

ソフト製造

単体テスト

【開発プロセス】
・レビューにテスタビリティ（検証可能性）視点が付加される
為、成果物の品質リスクが軽減

コーディング

静的解析【検証プロセス】

開発プロセス

検証プロセスAll Rights Reserved,Copyright Rakudou,Inc. 2021

・事前にテストの難易度が把握できる為、テスト準備が行いやすい

14

All Rights Reserved,Copyright Rakudou,Inc. 201915

ご依頼プロセス

All Rights Reserved,Copyright Rakudou,Inc. 2021

16

テスト実施体制
お客様・テスト環境ご提供
・楽堂との情報共有
・問合せご対応
・進捗状況確認

ご担当者

ご担当者

株式会社楽堂【テストマネージャー】対応案件規模により複数名
・仕様キャッチアップ、テスト計画作成、手順書作成
・進捗報告(随時)・不具合・問題点の確認とお客様へエスカレーション
・進捗、品質管理、ログ及びエビデンスの取得
・テスト結果分析、テスト結果報告書の作成【テストエンジニア】全国から選抜
・テスト実施・結果報告・不具合点・問題点報告(随時)All Rights Reserved,Copyright Rakudou,Inc. 2021

テスト
マネージャー
テストサブマネージャー

テスト
エンジニア

テストエンジニア17

セキュリティーについて
・当社、株式会社楽堂は、2019年4月25日付けにて、情報セキュリティマネジメントシステム（ISMS）の国際標準規格であるISO/IEC 27001の認証を取得いたしました。
ISMS認証取得により、より一層の情報セキュリティ管理の強化を図り、運用し、お客様へさらなる安心かつ信頼を得られるサービスの提供に努めてまいります。
認証範囲：ソフトウェアに関わる受託開発及びテスト事業
準拠規格：ISO/IEC27001:2013,JIS Q 27001:2014
認証番号：4303246
登録日 ：2019年4月25日

All Rights Reserved,Copyright Rakudou,Inc. 2021

18

お客様事例その1
1
お客様事例その実施企業
株式会社タイムインターメディア 様 （本多航執行役員）
事業内容
IT ソリューション事業
社員数106 名
導入サービス
テスト仕様書作成、テスト実施、データ作成
導入効果
テストコストの削減（50％）
対応案件
音楽WEBサイト、資格管理受講システム、地方自治体WEBサイト
インタービューTESTERAのメリットは？
本多様：
一番はコスト、テスト費用が安く抑えられたことが一番。開発をする上で予算は決まっている。その中でテストにさけるのは、ある程度限りがある。コストでいくと、テストの部分は、恐らく、半分位は削減できた。
他の開発会社様へのアドバイスは？
本多様：
是非一度、話を聞いた方がいい。多分、出てきた見積もりでビックリする。見積もりから違う。あと、単価の安さも違う。

All Rights Reserved,Copyright Rakudou,Inc. 2021

19

お客様事例その２
実施企業
株式会社富士通エフサス様
事業内容
ICTインフラ事業
社員数6,723 名
導入サービス
基幹業務システム テスト設計、テスト実施
導入効果
テストコストの削減（50％）
対応案件
企業向けファイル共有管理サービス

All Rights Reserved,Copyright Rakudou,Inc. 2021

20

結果報告書サンプル

All Rights Reserved,Copyright Rakudou,Inc. 2021

21

結果報告書サンプル

All Rights Reserved,Copyright Rakudou,Inc. 202122

結果報告書サンプル

All Rights Reserved,Copyright Rakudou,Inc. 2021

23

ソフトウェアテスト自動化の進め方

All Rights Reserved,Copyright Rakudou,Inc. 2021

24

サービス誕生の背景
お客様のテスト自動化ツール導入意識は高い！！
 開発期間短縮・コスト削減実現のため、自動化ツールを使いこなしたい 回帰テストを手軽に実施し、開発品質を確保したい テスト作業者の能力に依存しないテスト品質を確保したい テストケースの抜け漏れのない高品質なテストを安定的に実施したい

しかし導入の壁も高い！！（お客様の課題も多い）① 使いこなすまでの準備コスト（エンジニア単価＊準備期間）が嵩む② 高度で高機能なツールほどそれが顕著③ そもそも開発者やテスト専任者が自動化ツールを習得する余裕がない④ 初期コストがかさむ⑤ リーズナブルなコストでテスト自動化ツールを利用できるサービスがない
All Rights Reserved,Copyright Rakudou,Inc. 2021

25

お客様のテスト自動化課題を解決
お客様のテスト自動化課題を解
お客様の全ての課題を丸ごと解決
決① 使いこなすまでの準備コスト（エンジニア単価＊準備期間）が嵩む② 高度で高機能なツールほどそれが顕著③ そもそもテスト専任者が自動化ツールを習得する余裕がない④ 初期コストが嵩む⑤ リーズナブルなコストでテスト自動化ツールを利用できるサービスがない“ TESTERA-AT ”
All Rights Reserved,Copyright Rakudou,Inc. 2021

26

TESTERA-ATについてについて
TESTERA-AT

サービス内容All Rights Reserved,Copyright Rakudou,Inc. 2021

27

サービスご提供のポイント
サービスご提供のポイント
テスト自動化ツール:Ranorex*を利用
テストケースをご用意でないお客様

テストケースをお持ちのお客様① テスト設計② テストケース作成（動作確認含む）③ Ranorex用テストシナリオ作成④ テスト実施⑤ テスト結果報告書作成⑥ Ranorex用テストシナリオメンテナンス⑦ Ranorex自社運用ご支援（動作確認済みが前提）① Ranorex用テストシナリオ作成② テスト実施③ テスト結果報告書作成④ Ranorex用テストシナリオメンテナンス⑤ Ranorex自社運用ご支援

テストシナリオ作成ポリシー
Ranorex用テストシナリオ① モジュール単位② 単位モジュールの汎用性は高く③ モジュールを組合わせて1本のシナリオを構成*Ranorex:Ranorex社の登録商標 （Ranorex日本総代理店:テクマトリックス株式会社）

All Rights Reserved,Copyright Rakudou,Inc. 2021

28

サービスフロー図（概要）
サービスフロー図（概要）
お客様

テスト自動化検
討依頼

成果物
受領

レビュー

レビュー

楽堂

テストコンサルティング
・各種ヒヤリ
ング
・資料確認

テスト
観点表作成
・
提示

テスト
仕様書/
ケース
作成

手動テス
ト
実
施

自動化
提 シ
案 ナリ
オ

レビュー

自動化部分
決定

↓

Ranorex設計
テストシナリ
オ作成

自動
実 化
施 テス
ト成
果物
作成

手動テスト実施済みの場合
All Rights Reserved,Copyright Rakudou,Inc. 2021

29

TESTERA-AT概要図
概要図
TESTERA-AT

All Rights Reserved,Copyright Rakudou,Inc. 2021

30

サービスフロー詳細

お客様サービスフロー詳細

楽堂

テスト観点表作成

テストの依頼観点表レビュー

テスト設計/ケース作成
テストケース自動化内容
検討・決定

Ranorex利用
テスト自動化手順書

テスト自動化実行フロー
動作確認（手動）自動化シナリオ計画
記録（Reｃモジュール作成）
テストスイート作成
自動化テスト実行
成果物管理

成果物提出

All Rights Reserved,Copyright Rakudou,Inc. 2021

テスト仕様確認
事前の動作確認Recモジュール設計
テストケース・テストスイート設計
Recモジュール作成動作確認・修正
テストスイート作成動作確認・修正
ビルド(EXEファイル作成)・実行環境への必要ソフトインストール・テスト実施・結果確認
１．成果物の検証・管理（テストケース含
む自動テスト用準備物一式、Rx形式及びPDFの実行結果ログ一式）
２．不具合レポート、テスト仕様書とのトレーサビリティ確認

31

期待効果
期待効果
本サービスをご利用になるメリット①Ranorexの高度で多彩なテスト自動化機能が、短期間且つ、リーズナブルなコストで利用可能となる②テスト時間の短縮、テスト費用の低減、及び高品質なテストの実現が可能となる③高単価エンジニアがテスト業務から解放され開発に専念可能となる

All Rights Reserved,Copyright Rakudou,Inc. 2021

32

テスト自動化ご利用前に

All Rights Reserved,Copyright Rakudou,Inc. 2021

33

テスト自動化に向いているシステム
テスト自動化に向いているシス 機能面①反復作業が多い テム②テストパターンが多い③回帰テストが頻繁に発生

 アプリケーションの提供形態①パッケージ製品②カスタマイズが頻繁に発生 品質面①正確なテストが求められる②テストの品質向上 (属人的ミスなどの排除)が求められる

 テストフェーズ①結合/システムテスト ⇒ ○②単体テスト⇒ ×All Rights Reserved,Copyright Rakudou,Inc. 2021

34

UIテスト自動化に失敗しないためには…
テスト自動化に失敗しないたUI 自動化するテストの選択
めには…
①すべてのテストを自動化しようとしない②自動化できるテスト ≠ 自動化の効果が高いテスト③必要に応じて人手でのテストも利用 テストの堅牢性・変更容易性の確保① “壊れにくい”テスト (テスト対象アプリ側の小さな変更に引きずられない)②変更が必要な場合には最低限の変更で対応可能

All Rights Reserved,Copyright Rakudou,Inc. 202135

3,000名突破特別キャンペーンのご案内
お見積をご依頼いただいた方先着10名にもれなく特製どら焼き詰合せ
またはFRIXION特製ボールペンをプレゼント!!

All Rights Reserved,Copyright Rakudou,Inc. 202136

本件に関するお問い合わせは・・・
株式会社楽堂サービス推進事業部
保坂 政仁
m_hosaka@rakudou.co.jp

All Rights Reserved,Copyright Rakudou,Inc. 2021

37