NTCIR-9 "Shoten" Task?

NTCIR-8 Community QA Pilot Taskというもののオーガナイザ兼参加者になった関係で、Yahoo!知恵袋のデータを眺めたりしているのだが、例えば

Q: 世界は僕中心に回っていますか？
Best Answer: いいえ私を中心に回っています。<以下略>

のように、Qの有用性が低かったり、質問者が選んだbest answerがゴミだったりすることが結構多い。そこで上記タスクでは、best answerによるシステム評価とは別に、4人の判定者に各回答の質をなるべく客観的に絶対評価してもらったデータによるシステム評価も行うことにしている。

ときに、NTCIRでは「メディアで話題になるような」タスクが求められていると聞く。研究のmotivationがそんなんでいいのか！？というつっこみはさておき、とりあえず「笑点タスク」なんてどうでしょう。つまり、歌丸師匠が誰に座布団をあげるかを推定するタスク。過去の座布団獲得枚数からauthorityを計算したりして。テレビ受けするんじゃないかな。でもこのタスク、外人にどう説明すればよいのだ。

でもUGCっておもしろいね。NTCIR-9ではMOATあたりと連携して、Community QA Taskをもっと盛り上げよう。