Бродяга Дхармы.
1. Есть научная деятельность, которая финансируется из бюджета, но суть которой распорядителям средств (администраторам) неясна.
2. Администраторы опасаются злоупотреблений и спрашивают у ученых, как те сами хотя бы грубо оценивают значимость достижений друг друга.
3. Ученые указывают на публикационную активность и цитируемость как на ориентировочные показатели эффективности научной работы.
4. Высшие администраторы формализуют наукометрические показатели и приводят к виду, который они смогут контролировать.
5. Требования к этим показателям спускаются администраторам на местах и увязываются с финансированием. Администраторы мотивируют ученых работать так, чтобы поднимать наукометрические показатели.
6. Обнаруживается, что есть способы поднять наукометрические показатели, не поднимая качества научной работы, а даже наоборот снижая его. Более того, задачу обеспечения наукометрических показателей можно аутсорсить коммерческим фирмам, которые решают ее дешевле и надежнее, чем ученые.
7. С точки зрения высших администраторов, все выглядит замечательно: можно повышать наукометрические показатели эффективности даже экономя расходуемые средства.
8. Наука при этом перестает существовать, но зато цикл управления ею работает безупречно, все администраторы знают, чем они отчитываются за расходование средств. А исчезающая наука неформализуема, и потому за ее пропажу нельзя предъявить претензию.
2. Администраторы опасаются злоупотреблений и спрашивают у ученых, как те сами хотя бы грубо оценивают значимость достижений друг друга.
3. Ученые указывают на публикационную активность и цитируемость как на ориентировочные показатели эффективности научной работы.
4. Высшие администраторы формализуют наукометрические показатели и приводят к виду, который они смогут контролировать.
5. Требования к этим показателям спускаются администраторам на местах и увязываются с финансированием. Администраторы мотивируют ученых работать так, чтобы поднимать наукометрические показатели.
6. Обнаруживается, что есть способы поднять наукометрические показатели, не поднимая качества научной работы, а даже наоборот снижая его. Более того, задачу обеспечения наукометрических показателей можно аутсорсить коммерческим фирмам, которые решают ее дешевле и надежнее, чем ученые.
7. С точки зрения высших администраторов, все выглядит замечательно: можно повышать наукометрические показатели эффективности даже экономя расходуемые средства.
8. Наука при этом перестает существовать, но зато цикл управления ею работает безупречно, все администраторы знают, чем они отчитываются за расходование средств. А исчезающая наука неформализуема, и потому за ее пропажу нельзя предъявить претензию.
Тоже актуально. Интересно, какие толковые выходы есть.
И они не совсем очевидные, поэтому сложно принимаются.
Даже если научная деятельность является основной для учреждения, то процессы научного исследования всегда следует относить к не к основным процессам ( по которым как раз нужно считать KPI), а к процессам развития.
Ещё - цикл PDCA (и вообще итеративные модели) , и прогнать его минимум 5 раз, выяснить адекватность показателей, прежде чем внедрять показатели "на полную".
Показатели - устанавливаются в прямой зависимости только для основных процессов. Для процессов развития - косвенные обратные или интегральные .
Один из предыдущих алгоритмов системы уделял внешним ссылкам слишком высокий вес при расчете ранжирования.
В результате, это привело к тому, что вместо улучшения контента сайты начали массово закупать внешние ссылки. И даже самый трешовый сайт мог быть в ТОПе поисковой выдачи по конкурентному запросу, просто потому, что на него ссылалось несколько сотен других ресурсов. Потребовались годы, чтобы это заметили и придумали как исправить.
Если интересно, расскажу подробнее.
1. Поведение пользователя на странице. Сколько времени он проводит на сайте, сколько страниц открывает. Другими словами, глубина взаимодействия с контентом. А если это коммерческий сайт, то какой процент пользователей совершают покупку или отправляют заявку. Таким образом, система переложила оценку качества сайта на самих пользователей.
2. Дружба сайта с социальными сетями. Как много людей переходит на сайт из социальны сетей, что они там делают.
3. И еще примерно двести разных факторов, каждый из которых был малозначителен сам по себе, но общий вес которых мог достигать 60-70%.
Тут пока это ни к чему не привело.