AIモデルを比較するとき、一般的な性能の高さだけでは、自社で使いやすいかどうかを判断しきれません。このノートでは、実際の仕事に近い問いを用意することから、評価の進め方を考えます。
例えば、社内向けの要約では、文章の読みやすさだけでなく、担当者が必要な情報を落とさず拾えるかを確認します。誤りがあった場合に見つけやすいか、出典に戻れるかも、業務で使ううえでの評価項目です。
比較条件はそろえつつ、入力、期待する出力、人が確認する観点を記録します。正答が一つに定まらない仕事ほど、何をもって役立つと判断するかを先に共有しておくことが大切です。