ソフトウェアやシステムの評価方法などを調べた

とりあえずCiNiiで.博士論文から探した方が信頼できるかなと.「開発 評価」「開発 評価 ソフトウェア」とかで探す.

ひとまず10本.

1. カーボンフットプリントのための計算システムに関する情報科学的研究

本計算システムによるCFP計算作業の改善を評価するために、10品について、手作業でCFPを計算する場合と本計算システムを使って計算する場合で作業時間を比較した。この作業時間の比較結果を表 2.2 に示す。この評価では CFP の計算が多様になるように、製品を選んだ。この作業時間の比較実験は、CFP の計算に 3 年間従事し、約 100 点の食品の CFP を計算した経験がある大学院生 1 人により行われた。

本計算システムを使って、CFP の計算方法を学び始めた直後の 4 人の学生と著者らは、30 社が製造した 130 品の CFP を約 1 ヶ月で計算した。これは、本計算システムの利便性が向上した成果であると、著者は考えている。

2. 汎用マルチエージェント型シミュレータUFSfOMの開発とその評価に関する研究

シミュレーションシステムでのモデル作成のしやすさを評価するための手法として,モ デル作成時の思考時間に着目する.本研究で開発したシステムを含めて,実際にユーザテ ストを行い,サンプルモデルを基にモデル作成課題時の作業時間および実際の動作時間を 計測し,思考時間を推計,評価比較を試みた.

★ GOMS-KLM法 実際の動作時間の解析には,GOMS法[44]と KLM法[45]を援用した.作業の工程を分 析し,必要となる工数を計上することで,その作業に必要な時間や労力を予測する手法が 存在する.作業を Goal,Operator,Method,SelectionRuleの4つの組み合わせで表現し, その工程を詳細に分析することができる. さらに実際にユーザの行う必要のある動作を,打鍵回数レベルから予測し,それぞれの 動作の所要時間を元に必要な作業時間を予測する,Keystroke Level Model (KLM)などが存 在する.GOMS法と KLM法を組み合わせることで,さらに詳細な工数を比較することが 可能となる. ★ アンケート法 Web ページやアプリケーションなどにおいては,使用時の感想をアンケート形式で取得 し,点数化する事でユーザビリティの評価を可能としているものがある.こういった手法 は既成のアンケートシートを用いて決められた方法で点数化を行うもの [59]や,主観評価 を行ってもらい相対的な差を分析するものなどがある. ★ ユーザテスト ユーザテストは何種類かの課題を複数のユーザに行ってもらい,その作業時間や作業ロ グから,作業の効率性を評価する手法である.同じ課題を行うために必要な作業時間の差などから,システムのユーザビリティの改善の度合いなどを測ることが可能である [46].

本研究ではユーザテストを行い,さらにGOMS-KLM法を利用した作業時間の評価を実施した. ... この実験では,GOMS法を元に,Operator作業時間を総作業時間から分離し,その残余時間を思考時間の影響の多い値として評価に用いることを考えた.

3. 協調的視覚数理モデル構築のための開発基盤「HI-brain」の構築

3 種類の注視モデルを結合させた新規モデルの定量評価を行った.Fig. 25 に新規モデルの定量評価値を示す.Fig. 25 は各モデルに対する重みとその評価値を色の濃淡で表したものである.色が白に近いほど評価値が高く,逆に黒に近い色ほど評価値が低いことを意味する.このことから Fig. 25 は上に凸の単峰性面であることがわかった.また適切な線形重みを設定すると既存モデルの性能を超えることがわかった.

4. レーザーテラヘルツエミッション顕微鏡を用いたシリコン太陽電池局所特性評価システムの開発

第4章では、従来の太陽電池評価技術であるエレクトロルミネセンス/フォトルミネセンス/レーザービームインデュ ースドカレントイメ-ジング手法とLTEM技術の比較実験を行い、LTEMの原理を踏まえた知見により従来手法との相違 点を述べた。

要旨しかない.

5. アジャイルWebアプリケーション開発におけるソフトウェアセキュリティ保証のための反復型評価手法に関する研究

機能評価(1)では、Railsを用いたWebアプリケーション開発で広く利用されて いるセキュリティ機能パッケージである認証機能のDeviseと、アクセス制御機能のCanCanを例に、Railsの認証認可の実装からのアクセス制御ポリシーの抽出及び、ポリシー(要求)と実装との整合性の確認を行った。

機能評価(2)では、RailsのWebアプリケーションの実装コードを静的解析し、セキュリティ上問題となる箇所を特定し、その箇所に対するセキュリティテストケースを生成することで、問題箇所が実際に脆弱性を持つか確認する手法について評価した。

提案手法によって課題が解決できているか?

6. 人間とデバイスの感度差を利用した映像の盗撮妨害方式の研究

評価実験では,一般の映画館内を想定し,近距離および遠距離にて検知性能の評価を行い改良方式の有効性を評価し,映画館のような広い場所において赤外フィルタを検知可能であることを示した.

7. 関係性に基づく対話的情報構造化手法についての研究

DashSearch がメタデータにおける検索クエリの複雑さを解消して,対話的な情報探索を支援することができるかを検証するため「検索行為の繰り返し」,「関連情報の検索」という観点から従来システムと比較する. ... 本論文では,この標準的なメタデータ検索を基準として,提案システムの有用性や受け入れやすさにどのくらい差が出るかを調べることにした. ... そして,メタデータの設定しやすさを評価するためアンケートによる調査も行った.

8. タグチメソッドを用いた生産管理に関するソフトウエアの開発とその適用性の評価

評価方法は,式(3-8),式(3-9)に示すように,四種類の誤差分布入力で個々に計算された特性値の平均値と標準偏差を,平均値と標準偏差の真値でそれぞれ除して,平均値の推定精度 Ji,標準偏差の推定精度 Ki とした.

図 3-4 および図 3-5 から,簡単な数学モデル(式 (3-6)),複雑な数学モデル(式(3-7))いずれの場合でも,平均値と標準偏差ともに推定精度が向上していることが確認できる.また,3,5,7 等分と誤差因子の等分割数が増えるに従い推定精度が向上し,7 等分すれば真値に近い高精度な値を推定できることが確認できた.このように,平均値と標準偏差が高精度に推定できることから,これら値から計算される良品率,生産時間,生産コスト等の生産性因子も極めて高精度に推定することが可能となる.

9. 抽象解釈に基づくソフトウェアの段階的構成法とその評価

次に,ISDRの有効性を示すために,複雑な仕様を持つマイクロフィッシュ問題を解いた.そして,同じ問題をJSP法で解き,この方法と比較,検討を行った.その結果,JSP法ではこの問題は素直にプログラムを構成できないが,ISDR法では問題なくプログラムが構成できることが分かった.

10. 画像技術を用いた畜産品及び工芸品の検査設計支援システムの開発

10種の肉画像すべてについて、重回帰式より求めた等級が格付員の等級付け結果とよく一致しているのがわかる。

それぞれの計測システムの計測制度を評価する実験では、1mm以内の精度で計測できることを示した。ついで、回転系、平板系の計測システムを用いて壺と皿の形状計測を実行し、計測結果をコンピュータ画面上に表示し正しく計測できることを示した。