2011年終盤の個人的な関心の一つは、テスト体制の強化でした。
自分の仕事／プライベートで関わったプログラムで今年一年の間に見つかったバグについて、「自動テスト／人力によるテストのどちらによって防ぐ事ができたか」という割合を考えてみると、自動テストでは対応できなかったと思われるケースが多かったように思います。特にiOS/Androidアプリケーション、MacアプリケーションのUI関連で発生するバグはやはり今の段階で自動テストで対応していくには難しい部分が多くあります。
自動テストに頼り始めると、人力でのテストはとても面倒に感じられるようになります。テストの手順／内容をわかりやすく説明しなければいけない、テストを実行してくれる人を募集／確保しなければいけない、自動テストに比べると圧倒的に時間がかかる…等。これらの要素は人力テストの実行に消極的になるには十分です。それを防ぐためには、人力でのテスト実行の効率化をしていく必要がありました。
その中の対策の一つがTestLinkを使ったテスト全体の効率管理でした。先日は設置方法についてのポストを書きましたが、しばらく実際に使ってみての実感を書きます。
TestLinkのイケてる点
1. 説明のコストが減る
テスターの方にテストをやってもらう場合、個々のテストケースの手順は勿論、どのテストケースをどういった順番でやってもらうか、どのビルドを使ってもらうか、等説明をしなければいけない内容は沢山あります。TestLinkを使うと「誰にどのビルドを使ってどういった順番でどのテストケースをどういった手順でやってもらうか」といった情報を簡単に管理しておくことができます。テスターの方がログインすると、自分がアサインされたテストケースの説明が表示され、結果を入力して次に進む…といったことができるようになっています。
2. テストケースの再利用がしやすい
こういった手順をただ文書化してまとめておくだけならTestLinkをはじめとするテスト管理ツールを使う必要はないわけで、テスト管理ツールを使う利点はここにあります。通常テストケースは一度作ったら、その後必要に応じて改変されながら何度も実行されていきますが、TestLinkでもこれを効率的に管理していく仕組みがあります。(ここで書くには若干複雑なので、具体的な説明は省略します)
3. 結果を共有しやすい
テスターの人に実行してもらっているテストの進捗や結果をリアルタイムに見る事ができます。結果の生データだけでなく、各種分析／統計データもリアルタイムに見る事ができます。
また、その結果を各種フォーマット(エクセルやワード、HTML経由でのPDF等)にある程度整った見た目で出力することができ、テスト実行結果を外部の方に共有したい時などに便利です。
TestLinkのイケてない点
1. デザインが古くさくて使いにくい。重い。
最近のAjaxをうまく活用したWebサービスの操作性になれていると、フレームが使われ、無理にWindows 95ライクにしようとして重くなっているUIには大きなストレスを感じます。少し要素をいじる度に、フレーム内のページの再読み込みが走り、その度に1-2秒待たされるのはストレスです。
2. githubのissuesと連携できない
TestLinkの売りの一つとして、Trac等のバグ管理システムとの連携があります。ただし、現時点(1.9.3)では残念ながらgithubのissuesとは連携ができません。
3. phpだ
上記問題を自力で解決したいと思っても、この規模のプログラムのphpをいじるのは相当気合いが必要です。これがRailsで書かれていたら、喜んで改良に参加していました。
結論
最初に若干の学習コストは必要なものの、スプレッドシートでテストを管理するのに比べれば圧倒的によいことだらけで、人力でのテストに対するコスト(心理的なコストも含めて)は大きく減りました。同時に、テスターさんもテストを進めやすくなったように見えます(質問にくる回数等から考えると)。しかし、使えば使うほど上のイケてない点が目立ってくるのがなんとも残念です。
UIの改善については、TestLinkのプロジェクトページを見ている限りでは、取り組まれようとしているみたいなのです。この規模のアプリケーションで、しかもフレームを前提としたUIになっていることを考えると、改修は現実的には相当ハードルが高い作業だと思いますが、とても便利なツールだけに期待したいところです。
