移転しました。新しいエントリはこちらの「今日勉強したことをつらつらと」へ

ソフトウェアテストのエビデンスってなんぞや

 SI屋さんをやってるんだけども。要件定義→概要設計→詳細設計→製造→単体テスト結合テスト→総合テストっていう昔ながらのウォーターフォールモデルで、昔ながらに手動でテストを行ってる。
 詳細設計の意味も理解出来ないんだけど、そっちはもっともらしい理由が付けられそうだから置いておいて。
 テストを行うときは、なぜかスクリーンショットを一枚ずつ貼ってる。もしくはデータをSELECTした結果を貼る。Excelに。そこに、どこに何を確認したかメモったものをエビデンスというらしい。これが何のために作成しているものかよくわからない。
エビデンスとは - IT用語辞典
 動作していることを示す証拠(直訳でもかわらん)らしい。数百、数千ページの糞重たいEXCELブックのなかから目当ての動作をしているページを探しだして確認するのと、実際に動かしてみるのってどっちが早いのだろう。エビデンスを求める人はユーザか元請けか、もしくはリーダか発注している人だろう。そいつらは操作方法がわからない、期待結果がわからないなんてことはない。動かしてみればすぐわかる。対して、ユーザであればテスト仕様書の見方が100%わかるとは限らなくて探せるか微妙だし、そもそもそんなテストのエビデンスが残ってるかどうかわからない。やってないですよね?って悪魔の証明もどきを求めることになる。
 そんな役立たずなベタ貼りエビデンスだけど、工数だけはやたらかかる。ベタ貼りやめるだけでテスト工数は半分以下にできる自信がある。
 つまり、ベタ貼りエビデンスを作成するよりはその工数でテスト結果の確認を求められたら、テストの再現を行える環境を提示するのが本来のエビデンスではなかろうか。Excelで渡すのではなく、そのテストの実施時点の実行ファイル、DBダンプを渡す。これほんとに?と言われたら、それをセットアップして、できてますよね?と。
 それにベタ貼りは改ざんが可能。データダンプなんて数字いくらでも変えられるし、スクリーンショットなんて切り貼りらくらくだし。そんなことしないよ!って言われるかもしれないけど、それが通るほど信用あるなら、そもそもエビデンス自体が不要。信用があればテスト報告書に◯×書いときゃ十分。実行環境そのものなら、改ざんした時点でバグフィクスされてることになって、誰も困らん。と思ったけど困る人はいた、バグ検出数がどうのこうのとか数字をいじくって喜んでる人くらい。
 それでも要らない!って大手が叫ばないのは、誰かが工数削減しちゃったら全体の金の流れが減るからとしか思えない。