@techreport{oai:grips.repo.nii.ac.jp:00001828,
 author = {林, 隆之 and 藤光, 智香 and 秦, 佑輔 and 中渡瀬, 秀一 and 安藤, 二香},
 issue = {SciREX-WP-2021-#02},
 month = {Jul},
 note = {研究成果の測定は、資金配分や組織の戦略策定など様々な目的のもとで行われる。研究成果の測定において留意しなければならない点は、全ての研究分野に適応可能な一律の指標群は存在しないにもかかわらず、限られた数の指標が使われやすく、それによって、組織や研究者の行為に望まれない影響が生じることである。本ワーキングペーパーは、大学等の組織を単位とした研究測定における多様な研究成果指標に関する課題について、主に人文・社会科学に焦点を置きながら検討する。
最近の日本における大学等への「業績に基づく資金配分」の文脈の中では、比較可能な少数の標準的な指標を設定し測定することが求められる。しかし、学術界からは、多様な研究活動を奨励するために、できるだけ多種多様な研究成果を認識する重要さが指摘され、それらは比較可能な形で集計することが難しい。そのために議論のすれ違いが生じやすい。このような「多様性」と比較可能な「標準性」とを両立させることが現実の制度設計において課題となる。この関係に対して、指標中心の評価の仕組みと、ピアレビューの中で指標を活用する評価の仕組みとでは対応の仕方が異なる。海外の状況を分析した結果、少数の指標中心の仕組みとしては、ノルウェーモデルと呼ばれるような、英語ジャーナル論文以外も含めて広く定義した「学術出版物」を計測する方法がとられている。そこでは、国内データベースの整備、学術コミュニティによる「学術出版物」の定義と学術出版チャネルリストの作成、測定による影響のモニタリングの仕組みが必要となっている。他方、ピアレビュー中心の仕組みでは、研究の定義を広く設定するとともに、分野ごとに多様な成果の例示を評価機関等が作成し、定義や記載内容を共通化していくことが必要となっている。
日本でこのような取組を実施しうる可能性について、歴史学と経営学を対象に、大学評価への提出業績、科学研究費補助事業の成果について分析を行い、英国のREF2014での成果と比較した。結果、日本では研究成果の多様性が英国より高く、ジャーナルや出版社を「学術出版物」として区分するよりは、幅広いオーディエンスを対象とする成果発表を行っている傾向があり、海外のように定義した「学術成果物」の測定をそのまま用いることは現状では難しいことが示唆された。また、補足的に、国際的にも経験が十分に蓄積されていない、研究成果の学術面を超える社会的インパクト測定においても同様に、その多様性と標準化について、一般的論点と人文・社会科学に特有の論点があることを示した。
少数の指標を中心とした評価とピアレビューを中心とした評価の双方の仕組みにおいて、多様性と標準化を追求するためには複数の留意点があり、今後は、測定のみならず人文・社会科学研究の価値についての根本的議論も含めて、大学やアカデミーなどの関係者が協議することが期待される。さらに、今後、社会変革を促進するための人文・社会科学を含めた「総合知」が求められるなかで、その評価のあり方については、こうした論点も踏まえた検討が必要となる。, Research outputs are measured for a variety of purposes, including funding decision and organizational strategy formation. One thing to keep in mind when measuring research outputs is that although there is no one-fit-all set of indicators for all research fields, a limited number of indicators are likely to be used. It causes undesired effects on a researcher’s behavior. This working paper examines issues related to various research output indicators, focusing mainly on the humanities and social sciences (SSH).
In the context of "performance-based funding allocation" to universities in Japan, it is required to set a small number of comparable standard indicators. However, the academic community has pointed out the importance of recognizing as many different types of research results as possible in order to encourage diverse research activities, although it is difficult to tabulate them in a comparable manner. Therefore, arguments don't overlap each other. Balancing "diversity" and comparable "standardization" is an issue in actual institutional design. This balancing is dealt with differently between a metrics-centered evaluation and a peer-review-centered evaluation. As a result of analyzing the situation overseas, as a metrics centered evaluation, a method called the Norwegian model is adopted, which measures "academic publications" that are defined including those other than English journal articles. For this model, there is a need for a domestic database, a scholarly community to define "academic publications" and academic publishing channel lists, and a mechanism for monitoring the impact of measurements. On the other hand, in a peer-review-centered evaluation, it is necessary to broadly set the definition of research, and to create examples of various research outputs in each field by evaluation institutions, etc., and to standardize the definition and description for them.
Regarding the possibility of implementing such efforts in Japan, we analyzed the submitted research outputs for university evaluations and the reports of the Grant-in-Aid for Scientific Research focusing on history and management research from SSH and compared them with the achievements at REF2014 in the UK. As a result, the variety of research outputs in Japan is higher than in the UK, and there is a tendency to publish outputs for a wider audience, not classifying journals and publishers strictly as "academic publications". Thus, It was suggested that it is currently difficult to use the defined "academic publication" measurement as in overseas. In the measurement of social impact of research which has not been sufficiently established internationally, the general issues regarding the diversity and standardization are also discussed.
There are several points to keep in mind in balancing diversity and standardization in both the evaluation system. It is expected that stakeholders such as universities and academies will discuss not only measurement but also fundamental discussions on the value of research in SSH. Furthermore, as "converging knowledge" including SSH is required to promote social transformation in the future, it is necessary to consider how to evaluate it based on these issues., 本ワーキングペーパーは、文部科学省SciREX事業「研究力向上に向けた新たな測定指標の開発：各研究文化に適合した分野別指標と組織・ネットワークの機能指標」プロジェクト（2019～2020年度）の成果の一部である。},
 title = {研究成果指標における多様性と標準化の両立　－ 人文・社会科学に焦点をおいて －},
 year = {2021}
}