Утверждены
Коллегией Счетной палаты
Российской Федерации
протокол
от 24 мая 2022 г. N 34К(11)
МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ
ПО ОРГАНИЗАЦИИ ВЗАИМОДЕЙСТВИЯ С ЭКСПЕРТАМИ
И ИСПОЛЬЗОВАНИЮ РЕЗУЛЬТАТОВ ИХ РАБОТЫ
Общие сведения
Методические рекомендации по организации взаимодействия с экспертами и использованию результатов их работы
1. Разработаны Департаментом исследований и методологии аппарата Счетной палаты Российской Федерации.
2. Дата вступления в силу: со дня утверждения Коллегией Счетной палаты Российской Федерации.
3. Разработаны впервые.
1. Общие положения и определения
1.1. Общие положения
1.1.1. Методические рекомендации по организации взаимодействия с экспертами и использованию результатов их работы (далее - Методические рекомендации) разработаны для определения порядка привлечения, взаимодействия и использования результатов работы экспертов при проведении комплексов мероприятий, а также отдельных контрольных и экспертно-аналитических мероприятий Счетной палаты Российской Федерации (далее - проведение мероприятий, мероприятия, Счетная палата) в целях повышения их качества.
1.1.2. Методические рекомендации разработаны на основе положений Федерального закона от 5 апреля 2013 г. N 41-ФЗ "О Счетной палате Российской Федерации", Стратегии развития Счетной палаты на 2018 - 2024 годы, стандартов внешнего государственного аудита (контроля), осуществляемого Счетной палатой < 1 > , Регламента Счетной палаты, а также с учетом положений ISSAI 2620 "Использование работы эксперта аудитора" и ISSAI 2500 "Аудиторские доказательства".
< 1 > СГА 101 "Общие правила проведения контрольного мероприятия", СГА 102 "Общие правила проведения экспертно-аналитических мероприятий", СГА 107 "Управление качеством контрольных и экспертно-аналитических мероприятий".
1.1.3. Методические рекомендации предназначены для использования членами Коллегии Счетной палаты, инспекторами и иными сотрудниками аппарата Счетной палаты.
1.1.4. Информационно-аналитическое обеспечение организации работы с экспертами осуществляется с помощью модуля "Экспертная платформа" комплекса программных средств "Цифровая платформа" (далее - Экспертная платформа).
1.2. Термины и определения
Для целей Методических рекомендаций используются следующие термины и определения:
реестр экспертов Счетной палаты (реестр экспертов) - единая база данных Экспертной платформы со сведениями об экспертах, их компетенциях, профессиональном опыте и деловой репутации, сотрудничающих или готовых к сотрудничеству со Счетной палатой, уровень которых соответствует единым критериям отбора;
экспертиза - исследование, проводимое лицом, обладающим специальными знаниями в определенной сфере, в целях получения ответов на поставленные вопросы или выполнения конкретного вида работ (услуг);
Экспертная платформа - модуль комплекса программных средств "Цифровая платформа", предназначенный для информационно-аналитического обеспечения работы внутренних пользователей и внешних пользователей (кандидатов в эксперты, экспертов) при организации привлечения экспертов к проведению мероприятий (в составе государственной информационной системы "Информационно-телекоммуникационная система "Контроль" Счетной палаты");
экспертное задание - задание эксперту, сформулированное в виде вопросов или конкретного вида работ (услуг) и условий их выполнения.
2. Определение необходимости привлечения эксперта
2.1. При планировании мероприятий руководитель структурного подразделения аппарата Счетной палаты (далее - структурное подразделение) может предварительно определить необходимость привлечения экспертов на основе результатов анализа компетенций сотрудников, планируемых к участию в мероприятии.
Необходимость привлечения экспертов может пересматриваться и уточняться при проведении мероприятия.
На ранних стадиях обсуждения мероприятия (до его начала), включенного в план работы Счетной палаты, необходимость экспертной поддержки может определяться в виде общей постановки задачи без определения конкретного экспертного задания (например, "консультация по вопросу получения данных в сфере...").
2.2. Привлечение эксперта нецелесообразно в случаях, когда инспекторы Счетной палаты имеют возможность восполнить недостаток компетенций через:
1) ознакомление с результатами работы экспертов по данной тематике, включая изучение научной и иной профессиональной литературы;
2) обучение в данной области (в случаях, когда недостаток компетенций возможно восполнить за период непродолжительного обучения);
3) ознакомление с результатами и рабочей документацией ранее проведенных мероприятий;
4) проведение консультаций с сотрудниками Счетной палаты, имеющими опыт привлечения экспертов к выполнению аналогичных экспертных заданий в ходе ранее проведенных мероприятий, а также сотрудниками, обладающими необходимыми компетенциями;
5) ознакомление с материалами, размещенными в Репозитории знаний в области государственного аудита (https://repository.ach.gov.ru);
6) привлечение сотрудников иных структурных подразделений к решению поставленной задачи:
Департамента исследований и методологии - в области анализа данных;
Департамента международного и регионального сотрудничества - в области международных отношений и анализа зарубежного опыта;
Департамента цифровой трансформации - в области информационных технологий;
Департамента стратегического развития - в области анализа проектной деятельности.
2.3. При принятии решения о привлечении эксперта для выполнения экспертного задания следует исходить из того, что взаимодействие участников мероприятия и экспертов должно способствовать формированию необходимых компетенций для ответа на вопросы и достижения целей мероприятия. При этом экспертное задание должно включать в себя вопросы или конкретные работы (услуги), выполнение которых предполагает наличие у эксперта специальных знаний, навыков и опыта в области, отличной от внешнего государственного аудита (контроля).
Необходимость привлечения эксперта оценивается с учетом:
достаточности количества надлежащих аудиторских доказательств, которое можно обеспечить без привлечения эксперта;
соотношения существенности < 2 > исследуемого вопроса (значение экспертного задания в контексте мероприятия) с затратами финансовых и иных ресурсов на привлечение эксперта, к которым относятся затраты на взаимодействие, документирование, сопровождение, проверку промежуточных результатов и оценку качества выполненной им работы.
< 2 > Определяется с учетом положений раздела 2.7 СГА 105 "Стратегический аудит" и раздела 2.5 СГА 104 "Аудит эффективности".
2.4. При определении необходимости привлечения эксперта и перед осуществлением подбора эксперта рекомендуется ознакомиться с результатами аналогичных или схожих работ в целях исключения дублирования выполняемых экспертных заданий. Для этого:
используется функционал "Поиск похожих экспертиз" в Экспертной платформе;
анализируются отчеты по ранее выполненным или выполняемым контрактам Счетной палаты на выполнение научно-исследовательских работ и консалтинговых услуг;
анализируются сведения Единой государственной информационной системы учета научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (https://www.rosrid.ru/), Единой информационной системы в сфере закупок (https://zakupki.gov.ru/), Национального фонда алгоритмов и программ (http://portal.eskigov.ru).
2.5. Отдельные риски, возникающие при привлечении экспертов, и рекомендуемые меры по их снижению приведены в приложении N 1 к Методическим рекомендациям.
2.6. Руководитель мероприятия может инициировать привлечение эксперта для выполнения одного или нескольких экспертных заданий в рамках проводимого мероприятия по согласованию с руководителем структурного подразделения и членом Коллегии Счетной палаты, ответственным за проведение мероприятия.
2.7. Предложения по привлечению эксперта к проведению мероприятия должны включать:
1) обоснование необходимости привлечения эксперта;
2) экспертное задание;
3) результаты подбора кандидатур экспертов.
Для формирования предложений рекомендуется использовать форму, предусмотренную приложением N 2 к Методическим рекомендациям.
2.8. Заключение государственных контрактов на выполнение работ (оказание услуг) экспертами на возмездной основе осуществляется в соответствии с Регламентом работы контрактной службы Счетной палаты Российской Федерации, утвержденным приказом Председателя Счетной палаты.
2.9. Предметом экспертных заданий не могут быть цели или вопросы программы мероприятия целиком. Объем экспертных заданий, выполняемых экспертом, не должен составлять большую по объему и значимости часть процедур (работ), предусмотренных рабочим планом мероприятия.
2.10. Руководитель мероприятия может поручить организацию привлечения и дальнейшего взаимодействия с экспертом другому участнику мероприятия. При этом ответственность за качество взаимодействия с экспертом для достижения целей мероприятия лежит на руководителе мероприятия.
2.11. Руководитель мероприятия или иной сотрудник структурного подразделения, ответственный за организацию привлечения и дальнейшее взаимодействие с экспертом (далее - ответственный сотрудник), осуществляет:
1) подбор эксперта;
2) формирование экспертного задания;
3) контроль за исполнением обязательств эксперта по соглашению, договору, государственному контракту;
4) информационный обмен с экспертом;
5) оценку работы эксперта, подготовку отчета о проведении экспертизы по результатам приемки работ (услуг) (в случае заключения государственного контракта);
6) информирование эксперта о результатах мероприятия, в том числе о фактическом использовании работы эксперта;
7) документирование взаимодействия с экспертом.
2.12. По одному экспертному заданию в отдельных случаях целесообразно привлекать нескольких экспертов. Например, в целях получения более объективной картины результатов.
2.13. Экспертное задание может включать получение мнения эксперта по определенному вопросу или выполнение отдельных работ, например, получение мнения эксперта:
о ключевых рисках в сфере предмета мероприятия;
о дизайне или элементах дизайна мероприятия < 3 > (например, о приоритетности гипотез для анализа, валидности и возможности использования конкретных методов сбора и (или) анализа данных и т.д.), о том, какие аспекты предмета мероприятия являются наиболее важными;
< 3 > При обсуждении с экспертом программы и дизайна мероприятия целесообразно формулировать конкретные вопросы, относящиеся к тому или иному аспекту проводимого мероприятия. Примеры вопросов приведены в приложении N 12 к Методическим рекомендациям.
об информации о релевантных исследовательских материалах, источниках данных и передовых методах, связанных с предметом исследования;
об интерпретации полученных результатов, выводов, о предложениях (рекомендациях).
2.13.1. Мнение эксперта по определенному вопросу может быть получено по итогам:
коллективной работы нескольких экспертов в формате свободного обсуждения (рабочей встречи, круглого стола) или структурированного обсуждения (стратегическая сессия, риск-сессия, фокус-группа, мозговой штурм);
индивидуальной консультации, интервью, опроса (анкетирования).
2.13.2. Выполнение экспертом отдельных работ может предполагать сбор и (или) анализ данных, проведение экспертизы по узкоспециализированным вопросам. В этом случае рекомендуется заключать с экспертом договор.
3. Подбор эксперта
3.1. Для привлечения экспертов с высоким уровнем компетенций и деловой репутации к проведению мероприятия привлекаются эксперты, включенные в реестр экспертов.
Реестр экспертов включает членов Экспертно-консультативного совета при Председателе Счетной палаты и иных экспертов, соответствующих критериям отбора, и по согласованию со структурными подразделениями. Критерии отбора эксперта и порядок ведения реестра экспертов приведены соответственно в приложениях N 3 и 4 к Методическим рекомендациям.
3.2. Включение экспертов в реестр проводится:
по инициативе эксперта;
по инициативе членов Коллегии и руководителей структурных подразделений;
по инициативе сторонних организаций (в случае обращения в официальном порядке к Председателю Счетной палаты с просьбой рассмотреть кандидатуру сотрудника организации в качестве эксперта Счетной палаты).
3.3. Исключение экспертов из реестра проводится:
по инициативе эксперта;
в случае смены места работы эксперта, если новая должность не позволяет больше сотрудничать со Счетной палатой (например, переход на государственную службу);
по инициативе структурных подразделений, осуществлявших взаимодействие с экспертом;
по согласованию с Департаментом исследований и методологии в случаях подтвержденного негативного результата взаимодействия с экспертом, выявления случаев или обстоятельств, подрывающих деловую репутацию эксперта.
3.4. Если эксперт с необходимыми компетенциями отсутствует в реестре экспертов, ответственный сотрудник может подобрать эксперта самостоятельно или направить заявку на подбор эксперта в Департамент исследований и методологии по форме, предусмотренной приложением N 5 к Методическим рекомендациям, на адрес электронной почты: expert@ach.gov.ru (до запуска соответствующего функционала Экспертной платформы, приведенного в приложении N 6 к Методическим рекомендациям).
3.4.1. При самостоятельном подборе эксперта рекомендуется учитывать положения пунктов 3.5.1 - 3.5.3 Методических рекомендаций и приложения N 3 к Методическим рекомендациям, а также использовать для постановки задачи форму заявки на подбор эксперта, предусмотренную приложением N 5 к Методическим рекомендациям.
3.4.2. Департамент исследований и методологии в случае получения заявки на подбор эксперта в течение 5 рабочих дней формирует список рекомендуемых экспертов с учетом критериев, приведенных в приложении N 3 к Методическим рекомендациям, и направляет данный список на адрес электронной почты ответственному сотруднику, направившему заявку.
Окончательный подбор эксперта для выполнения конкретного экспертного задания на основании списка рекомендуемых экспертов проводит ответственный сотрудник.
3.4.3. На основании предложений руководителя мероприятия руководитель структурного подразделения инициирует включение эксперта в Реестр экспертов с помощью Экспертной платформы, заполнив сведения в Реестре кандидатов в эксперты и направив их на согласование в Департамент исследований и методологии.
3.5. При подборе эксперта следует принимать во внимание:
наличие у эксперта релевантных экспертному заданию компетенций и специализаций;
объективность данного эксперта с точки зрения мероприятия, в том числе отсутствие конфликта интересов (отсутствие личной и деловой заинтересованности у эксперта в получении определенного результата выполнения работ).
3.5.1. Релевантные компетенции - это способность эксперта применить знания и навыки в выполнении экспертного задания в рамках тематики конкретного мероприятия, для которого будут использоваться результаты работы эксперта. Например, сметчик может специализироваться на составлении смет на реконструкцию зданий, но иметь ограниченный опыт в области составления сметы на выполнение реставрационных работ.
3.5.2. Компетентность эксперта может оцениваться по следующим критериям:
опыт выполнения аналогичных работ, оказания услуг, участие в проектах и мероприятиях (например, опыт выполнения научно-исследовательских (экспертных) работ по схожим темам, проведение аналогичных экспертиз, применение аналогичных методов и т.п.);
наличие качественных научных публикаций < 4 > , выступлений, докладов, образовательных программ, разработанных с участием эксперта, по предмету мероприятия;
< 4 > Качественной научной публикацией может считаться публикация, входящая в первый или второй квартили (Q1 и Q2) изданий базы Scopus, отражающие степень цитируемости и авторитетности цитирующих научных журналов. При этом при оценке качества научной публикации рекомендуется проводить оценку используемой методологии и обоснованности результатов и выводов научной статьи.
профессиональное признание в сфере предмета мероприятия (членство и должности в профессиональных организациях и объединениях, награды и документы, характеризующие профессиональные достижения, международные сертификаты, призовые места на профессиональных конкурсах, места в рейтингах и т.п.).
При отборе рекомендуется отдавать предпочтение тем экспертам, которые в течение последних 3 - 5 лет проводили научную, профессиональную и экспертную деятельность, релевантную экспертному заданию.
3.5.3. Объективность эксперта - это отсутствие заинтересованности эксперта в получении определенного результата при выполнении экспертного задания. Объективности могут угрожать различные обстоятельства, например, личная заинтересованность эксперта (финансовые интересы, личные взаимоотношения), а также деловые отношения эксперта с объектом мероприятия (выполнение работ, оказание услуг, вхождение в состав коллегиальных органов).
На объективность эксперта оказывают влияние:
занимаемая должность на момент его привлечения к выполнению экспертного задания, а также за последние два года до момента выполнения экспертного задания;
другие работы, ранее выполняемые данным экспертом или на момент его привлечения к выполнению экспертного задания (например, если эксперт принимал непосредственное участие в подготовке материалов или информации, являющейся предметом проведения экспертизы);
профессиональные убеждения эксперта.
3.5.4. Обоснование выбора эксперта для выполнения экспертного задания ответственный сотрудник документирует по форме, предусмотренной приложением N 2 к Методическим рекомендациям, и включает в состав рабочей документации.
4. Взаимодействие с экспертами
4.1. Виды взаимодействия с экспертами
4.1.1. К наиболее распространенным видам взаимодействия с экспертами относятся:
индивидуальные консультации;
отдельные задания;
структурированные обсуждения (стратегические сессии, риск-сессии, мозговые штурмы);
участие в качестве респондентов < 5 > в экспертных опросах, интервью;
< 5 > Респондент - лицо, принимающее участие в социологическом исследовании.
участие экспертов в рамках работы организованной "проектной лаборатории".
4.1.2. Индивидуальные консультации с экспертами направлены на обсуждение вопросов и получение экспертизы (ответов на вопросы) в открытом формате.
4.1.3. Отдельные задания представляют собой задачи по узкоспециализированной экспертизе. К ним могут относиться, например, задачи по сбору данных и (или) анализу данных в случае невозможности провести такой анализ сотрудниками Счетной палаты.
4.1.4. Структурированные обсуждения (стратегическая сессия, риск-сессия, мозговой штурм) предполагают совместную работу экспертов и сотрудников Счетной палаты в целях поиска и выработки новых знаний по проблеме, выносимой на обсуждение, поиск и выработку решений или подходов к решениям проблемы. При этом перед проведением структурированного обсуждения разрабатывается сценарий исходя из задач и времени, отведенного для обсуждения. Обязательная роль модератора предполагает управление обсуждением, вовлечение участников в дискуссию. Как правило, накануне структурированного обсуждения организаторы готовят и рассылают участникам обсуждения программу и необходимые материалы, назначают ответственного за фиксацию результатов обсуждения (предпочтительно в структурированном виде).
4.1.5. Социологические исследования с привлечением экспертов могут проводиться в форме:
экспертных интервью, которые проводятся, как правило, в целях уточнения информации по исследуемой проблеме и проходят в форме индивидуальной беседы по заранее сформулированному руководству проведения интервью;
фокус-групп, которые проводятся модератором, направляющим дискуссию на основе заранее сформулированного руководства проведения фокус-групп и предоставляющим участникам возможность высказаться. Оптимальное число участников составляет 8 - 10 экспертов;
опроса экспертов, который проводится на основе разработанной анкеты.
Экспертное интервью является одним из наиболее распространенных методов получения знаний о проблеме, который может позволить:
обойтись без обработки больших объемов тематической литературы и масштабного сбора данных;
получить быстрый доступ в исследовательское поле на основе институциональной принадлежности экспертов к различным организациям, научно-исследовательским и аналитическим центрам;
получить информацию о других экспертах.
В зависимости от решаемых задач выделяют три вида экспертных интервью, различающихся по способам проведения, целям анализа, подходам к анализу полученной от экспертов информации:
1) разведывательное экспертное интервью для "входа" в новую изучаемую проблематику. Как правило, такое интервью предшествует качественному или количественному анализу, может проводиться в достаточно свободной форме в целях затронуть различные аспекты изучаемого вопроса. При проведении разведывательных экспертных интервью важными являются представления эксперта о проблеме, вовлеченных акторах < 6 > , важных событиях и т.д.;
< 6 > Актор - лицо, осуществляющее какое-либо действие.
2) систематизирующее экспертное интервью для получения от эксперта фактов и информации, которые позволят систематизировать уже имеющиеся данные. При проведении систематизирующих экспертных интервью личное мнение эксперта, его интерпретация событий не играют важную роль, так как эксперт выступает лишь носителем знания о фактах;
3) экспертное интервью, направленное на выработку "теории", нацелено на реконструкцию представлений эксперта, приводящих его к тому или иному выводу. При проведении таких интервью акцент делается на установках эксперта и на том, как они могут повлиять на позицию эксперта.
При проведении экспертного интервью может возникать проблема объективности эксперта как участника процесса создания знания (например, при оценке государственных политик, программ и проектов). В ситуации, когда эксперт знает, что может предоставить знание, которое может напрямую повлиять на функционирование сферы его экспертизы, эксперт перестает быть просто внешним наблюдателем, обладающим знанием, и становится заинтересованной стороной, то есть имеет свою повестку и может быть заинтересованным в определенном результате анализа (например, это может проявляться в том, что эксперт будет все время возвращаться к одной и той же тематике и т.д.). Такая ситуация представляет собой угрозу для валидности выводов, сделанных на основе такого экспертного интервью. Снижению такой угрозы могут способствовать работа двух интервьюеров < 7 > , включение в руководство проведения интервью отсылок к фактическим данным и показателям, проведенным ранее исследованиям, мнениям других экспертов, чтобы зафиксировать наличие предвзятости эксперта.
< 7 > Интервьюер - лицо, проводящее опрос респондентов.
Экспертные интервью часто требуют большей подготовки, чем интервью с другими респондентами, потому что для них характерны дополнительные коммуникативные проблемы. К таким проблемам можно отнести:
снисходительное отношение эксперта к интервьюеру как к менее сведущему и просящему экспертизы;
использование интервью как способа внешнего признания своих знаний экспертом, желание эксперта перехватить инициативу и выяснить детали исследования (анализа) у интервьюера. Такие проблемы взаимодействия с экспертами требуют отдельной проработки, включая отражение стратегии обхода этих проблем в руководстве проведения интервью.
4.1.6. "Проектные лаборатории" создаются на базе образовательных организаций под проект по исследованию определенной тематики, которая исследуется в рамках кросс-отраслевых или отраслевых комплексов мероприятий, одного или нескольких мероприятий. Руководителем "проектной лаборатории", как правило, является эксперт в предметной области, руководитель института (лаборатории) образовательной организации. К участию привлекаются научные сотрудники, аспиранты и студенты. Продолжительность проведения исследования в рамках "проектной лаборатории" зависит от задач и осуществляется в соответствии с планом-графиком.
Организация "проектной лаборатории" и координация взаимодействия с ее руководителем осуществляется Департаментом исследований и методологии. Для начала работ по организации "проектной лаборатории" необходимо сформулировать тему исследования, задачи для проведения исследования, требования к формату и содержанию отчетных материалов по результатам исследования, обозначить желаемые сроки получения результатов исследования.
4.2. Оформление взаимодействия с экспертами
4.2.1. Привлечение эксперта может осуществляться:
1) путем заключения соглашения, безвозмездного договора с экспертом;
2) путем заключения возмездного договора (государственного контракта) < 8 > с экспертом;
< 8 > Закупка работ (услуг) для нужд Счетной палаты Российской Федерации осуществляется в соответствии с Регламентом работы контрактной службы Счетной палаты Российской Федерации, утвержденным приказом Председателя Счетной палаты.
3) в рамках соглашений о сотрудничестве (взаимодействии) Счетной палаты с организациями;
4) посредством взаимодействия с экспертом в рабочем порядке без заключения договора.
Блок-схема для выбора формата оформления взаимодействия с экспертом приведена на рисунке 1.
Рисунок 1. Блок-схема для выбора формата оформления
взаимодействия с экспертом
4.2.2. Как правило, взаимодействие с экспертом в формате обсуждений, рабочих совещаний, участия в социологических исследованиях, индивидуальных устных консультаций осуществляется без заключения договора.
4.2.3. Соглашение о взаимодействии рекомендуется заключать с обозначением круга вопросов взаимодействия (предмета соглашения) с регулярно привлекаемыми экспертами (члены Экспертно-консультативного совета при Председателе Счетной палаты Российской Федерации, эксперты, включенные в реестр экспертов и имеющие положительный опыт взаимодействия со Счетной палатой).
В случае заключения соглашения о взаимодействии условия участия в мероприятиях, включая формат участия, экспертное задание, иные требования к экспертной и консультационной поддержке согласовываются дополнительно.
4.2.4. Безвозмездный договор рекомендуется заключать при первичном взаимодействии Счетной палаты с экспертом для снижения рисков ненадлежащего раскрытия тематики цели или вопроса мероприятия, получения некачественного результата работы эксперта.
4.2.5. Государственный контракт на выполнение работ (оказание услуг) на возмездной основе может быть заключен только в случае обоснованной невозможности выполнить работу собственными силами, силами сотрудников иных структурных подразделений, обладающих необходимыми компетенциями, а также на безвозмездной основе экспертами.
4.2.5.1. Возможность выполнить работу силами сотрудников иных структурных подразделений уточняется руководителем соответствующего структурного подразделения путем направления письма с запросом на оказание консультативной поддержки в адрес руководителя структурного подразделения, сотрудники которого обладают необходимыми компетенциями, с учетом положений пункта 2.2 Методических рекомендаций.
4.2.5.2. При этом необходимо учитывать следующее:
следует обосновывать невозможность привлечения эксперта на безвозмездной основе, а также невозможность участников мероприятия и сотрудников иных структурных подразделений выполнить экспертное задание;
учитывать возможность привлечения эксперта к выполнению отдельного задания (подвопроса) в рамках цели или вопроса мероприятия, направленного на более глубокое изучение аспектов его предмета;
как правило, не проводятся закупки работ (услуг) по оценке дизайна отдельными экспертами; разработке методологии мероприятия; обзорам международного опыта; по оценке (валидации) результатов и выводов проекта отчета по итогам мероприятия; аналитики данных, которая может быть проведена сотрудниками Счетной палаты;
нецелесообразность закупки работ (услуг), аналогичных ранее выполненным < 9 > (за исключением работ (услуг), результаты которых невозможно применить для целей мероприятия);
< 9 > Ознакомиться с результатами ранее выполненных работ экспертами можно на внутреннем информационном портале Счетной палаты Российской Федерации в разделе "Документы" в папке "Закупки консультационных услуг", в базе НИОКР, а также запросив у объекта аудита результаты проведенных научно-исследовательских работ по предмету мероприятия.
участники мероприятия должны обладать необходимыми знаниями и навыками, чтобы принять работу эксперта в соответствии с положениями раздела 7 Методических рекомендаций либо обеспечить привлечение других сотрудников Счетной палаты или экспертов, не принимавших участие в выполнении экспертного задания, к оценке результатов работы эксперта.
4.2.5.3. Заключение государственного контракта на выполнение работ (оказание услуг) экспертом может осуществляться по результатам закупки конкурентным способом или с единственным исполнителем.
4.2.6. Договоры с экспертами заключаются в порядке, установленном законодательством Российской Федерации, с указанием условий о соблюдении конфиденциальности, предотвращении конфликта интересов и обработке персональных данных.
4.2.7. При инициировании взаимодействия с экспертом ответственный сотрудник использует функционал Экспертной платформы для автоматического формирования проекта договора и его согласования с экспертом. Автоматическое формирование проекта договора осуществляется на основе экспертного задания и разработанных шаблонов договоров. Внутреннее согласование с заинтересованными структурными подразделениями осуществляется в СЭД "Дело".
Порядок заключения договора с экспертом с использованием Экспертной платформы представлен в приложении N 7 к Методическим рекомендациям.
Заключение государственного контракта на возмездной основе осуществляется в соответствии с Регламентом работы контрактной службы Счетной палаты Российской Федерации, утвержденным приказом Председателя Счетной палаты.
4.2.8. Ответственный сотрудник согласовывает безвозмездный договор с Правовым департаментом и организовывает подписание экспертом и лицом, уполномоченным Председателем Счетной палаты на подписание договора.
Контроль за исполнением обязательств эксперта по безвозмездному договору, а также обязательства Счетной палаты по приемке результатов выполненных работ (оказанных услуг) осуществляет ответственный сотрудник. Проверка результатов оказанных услуг, выполненных работ, представленных экспертом отчетных документов на соответствие требованиям договора проводится ответственным подразделением с учетом положений раздела 7 Методических рекомендаций.
4.2.9. Факт привлечения эксперта к участию в мероприятиях без заключения договора фиксируется в Экспертной платформе и в рабочей документации мероприятия.
4.2.10. В случаях, когда эксперту для выполнения экспертного задания необходимо присутствовать на объекте мероприятия < 10 > , по решению члена Коллегии Счетной палаты, ответственного за проведение мероприятия, эксперта следует включать в программу проведения мероприятия в качестве участника мероприятия. При этом эксперт не приобретает правовой статус инспектора Счетной палаты, то есть на него не распространяется совокупность предусмотренных законодательством Российской Федерации прав и обязанностей инспекторов Счетной палаты.
< 10 > Присутствие на объекте мероприятия необходимо в случаях необходимости выполнения экспертом отдельных работ (процедур) в соответствии с рабочим планом мероприятия непосредственно на объекте мероприятия.
Включение эксперта в состав участников мероприятия не освобождает структурное подразделение от обязанности оформления договорных отношений с данным экспертом.
5. Формирование экспертного задания
5.1. Экспертное задание, формируемое для выполнения работ (оказания услуг) экспертом, включает следующие разделы:
цель и задачи;
перечень вопросов к эксперту и (или) виды работ (услуг) эксперта;
требования к результату в виде описания того, что ожидается получить по результатам выполнения работы (оказания услуг);
сроки и этапы выполнения работы (оказания услуг);
порядок и условия взаимодействия (включая порядок и условия получения экспертом информации для выполнения работы (оказания услуг), использования сторонами полученной информации и результатов работы (услуги) эксперта;
дополнительные материалы (при необходимости их учета экспертом при выполнении задания).
Чем более значима работа эксперта в контексте мероприятия, тем более подробным должно быть описание указанных параметров.
5.2. Экспертное задание формируется и согласовывается с экспертом посредством заполнения соответствующей формы в Экспертной платформе. Экспертное задание является составляющей предмета безвозмездного договора и заполняется автоматически в Экспертной платформе, может быть детализировано и дополнено при необходимости.
5.3. Описание цели в экспертном задании должно давать представление о том, что является ожидаемым конечным результатом выполнения работы (оказания услуги) эксперта, формировать понимание исполнителя, зачем выполняется данная работа (услуга) и в чем состоит значимость и ценность ее результата.
5.4. Описание задач в экспертном задании должно быть сформулировано таким образом, чтобы из описания было понятно, какую конкретно работу (услугу) необходимо выполнить и в каком объеме.
5.4.1. При формулировании и описании задачи следует избегать общих формулировок, оставляющих неопределенность в отношении объема работ (услуг), предмета исследования (экспертизы), а также методов проведения исследования (экспертизы). Например, задачу "проанализировать документы стратегического планирования зарубежных стран" необходимо уточнить, указав характеристики документов стратегического планирования и их количество ("проанализировать документы стратегического планирования, устанавливающие национальные приоритеты в сфере образования, 5 стран, имеющих схожую с российской систему образования").
5.4.2. При формулировании и описании задачи следует указывать базовые методы выполнения экспертного задания, определенные с учетом его целей, сторону, осуществляющую сбор данных и информации, а также состав данных и информации и способ их передачи для выполнения работы (оказания услуги) экспертом.
5.4.3. При формировании экспертного задания в целях минимизации риска получения некачественных результатов рекомендуется указать требования к используемым методам. В случае возмездного выполнения работ (оказания услуг) рекомендуется использовать предложения по описанию планируемой методологии проведения работ (оказания услуг) в качестве критерия оценки заявок для закупок в форме открытого конкурса.
5.4.4. Многокомпонентные задачи рекомендуется детализировать до более конкретных задач. Например, задачу "осуществить сбор и анализ данных о рентабельности активов организаций за период с 2000 года по 2020 год, а также выработать рекомендации по повышению показателей рентабельности с учетом результатов проведенного анализа" целесообразно разделить на несколько подзадач: сбор данных, анализ данных, выработка рекомендаций по результатам анализа.
5.4.5. В формулировках задач следует избегать неоднозначно трактуемых терминов ("эффективный", "адекватный", "простой", "достаточный" и т.п.). Например, задачу "разработать адекватный инструментарий" необходимо уточнить, указав характеристики инструментария ("разработать инструментарий, позволяющий производить количественную оценку рисков...").
5.4.6. При формулировании задачи эксперту следует указывать на необходимость выполнения работы (оказания услуги) с учетом положений соответствующих стандартов внешнего государственного аудита (контроля), иных стандартов и профессиональных или отраслевых документов.
5.5. Требования к результатам экспертного задания должны быть описаны в виде детальных количественных и (или) качественных критериев, которые позволяют объективно оценить результаты и качество выполнения экспертного задания. Например, требование "разработанная анкета для проведения опроса должна содержать не менее 40 вопросов по теме..." необходимо уточнить, указав более детально группы вопросов ("Разработанная анкета для проведения опроса должна содержать не менее 40 вопросов по теме... по следующим четырем блокам: социально-демографическая группа вопросов (не менее 10 вопросов); группа вопросов, направленных на изучение... (не менее 10 вопросов); группа вопросов, направленных на изучение... (не менее 10 вопросов); группа вопросов, направленных на измерение... (не менее 10 вопросов).").
Требования рекомендуется формулировать к результатам каждой задачи и (или) подзадачи.
5.6. В экспертном задании целесообразно устанавливать детальные требования к отчетным материалам, в том числе к:
форме отчета о результатах работы (услуги) (отчет, презентация, аналитическая записка и другое);
приложениям (материалы, являющиеся приложением к отчету);
структуре и объему отчетных материалов (с указанием количества экземпляров, в случае подготовки отчета на бумажном носителе, минимального количества листов отчета);
форматам отчетных материалов (".docx", ".xlsx", ".pptx", ".pdf" и другие).
5.7. В случаях когда объем экспертного задания является значительным и качество выполнения его следующего этапа зависит от предыдущего, в целях снижения рисков получения результатов работы (услуги) неудовлетворительного качества рекомендуется разбивать выполнение экспертного задания на несколько этапов с указанием по каждому этапу объема и сроков выполнения работ (оказания услуг), а также требований к отчетным материалам.
6. Информационное взаимодействие с экспертом
6.1. До начала выполнения работы (оказания услуги) экспертом (исполнителем государственного контракта) рекомендуется согласовать условия рабочего взаимодействия, в том числе о способах коммуникации, периодичности и продолжительности встреч, порядке действий, если одна из сторон не выходит своевременно на связь.
6.2. В ходе взаимодействия следует соблюдать правила, подчеркивающие ценность эксперта для Счетной палаты и уважение сотрудников Счетной палаты к эксперту на всех этапах взаимодействия, соблюдать правила деловой переписки и общения с соблюдением делового этикета, в том числе:
1) заранее определить взаимоприемлемые форматы общения с экспертом, интенсивность и (или) график встреч, общения;
2) назначать даты встречи с учетом загруженности эксперта;
3) направлять заблаговременное приглашение эксперту на встречу, включая информацию, как добраться до места проведения встречи, контактные данные лица, кто может дать разъяснения в случае возникновения вопросов;
4) направлять эксперту материалы по теме встречи для ознакомления (в зависимости от объема материалов, но не позднее чем за 3 рабочих дня до встречи);
5) своевременно уведомлять эксперта об изменениях ранее достигнутых договоренностей;
6) готовить раздаточные материалы (при необходимости);
7) фиксировать основные результаты встречи и достигнутые договоренности;
8) направлять результаты встречи эксперту (не позднее чем на следующий рабочий день после встречи);
9) выражать благодарность эксперту за участие в обсуждении и (или) выполнение работы (оказание услуги).
6.3. На заинтересованность эксперта в выполнении экспертного задания существенное влияние оказывает понимание контекста мероприятия, целей, вопросов мероприятия и ожидаемых результатов. В связи с этим целесообразно своевременно информировать эксперта:
1) о причине обращения именно к этому эксперту (например, с пояснением значимости предыдущих работ эксперта для анализа в сфере предмета мероприятия);
2) об актуальности задач, требующих экспертной поддержки, в рамках мероприятия, особенностях проведения мероприятия, отличиях планируемого анализа и его ожидаемых результатов от проведенных ранее исследований;
3) о вкладе работы эксперта в результаты мероприятия, о потенциальном влиянии результатов работы эксперта на ситуацию в проблемной области, исследуемой сфере;
4) о предполагаемой степени вовлеченности эксперта в мероприятие, в том числе сроки проведения мероприятия, подробное описание экспертного задания;
5) о возможности эксперта ознакомиться с результатами мероприятия (отчетом о результатах мероприятия), принять участие в экспертных обсуждениях;
6) о возможностях или ограничениях использования данных и информации;
7) о степени открытости информации об участии эксперта в мероприятии.
6.4. В ходе выполнения экспертного задания у эксперта может возникнуть необходимость ознакомиться с дополнительной информацией или данными. Ответственному сотруднику следует согласовать с членом Коллегии Счетной палаты, ответственным за проведение мероприятия, возможность передачи необходимых материалов эксперту.
В случаях когда для выполнения экспертного задания эксперту необходимо получение информации ограниченного доступа, доступ к такой информации, в том числе содержащейся в информационных системах, осуществляется в строгом соответствии с требованиями законодательства Российской Федерации и иных нормативных правовых актов, а также правилами эксплуатации информационных систем, установленными операторами соответствующих информационных систем.
Предоставление эксперту доступа к информации, предоставленной Счетной палате в рамках соглашений о сотрудничестве и (или) информационном взаимодействии с государственными органами и иными организациями, осуществляется с учетом условий указанных соглашений, регламентирующих порядок предоставления информации иным лицам.
6.5. Взаимодействие с экспертом рекомендуется осуществлять не только в рамках выполнения конкретного экспертного задания, но и поддерживать деловые контакты путем организации рабочих встреч с обсуждением проблем в сфере интересов эксперта, обмена релевантной информацией и т.д.
6.6. Способом выражения признательности за высококачественную работу эксперта могут быть официальные благодарности (благодарность или благодарственное письмо Председателя Счетной палаты, члена Коллегии Счетной палаты), публичный статус эксперта Счетной палаты, приглашение выразить экспертную позицию в информационных продуктах Счетной палаты (например, бюллетене Счетной палаты), участие сотрудников Счетной палаты в мероприятиях экспертных организаций.
6.7. Частота информационного взаимодействия с экспертом зависит от характера и объема работ (услуг), выполняемых экспертом. При этом целесообразно заблаговременно определить и согласовать даты обсуждения промежуточных и конечных результатов выполнения экспертного задания.
6.8. Результаты встречи с экспертом по содержательным вопросам, в том числе индивидуальная консультация, документируются (по форме, предусмотренной в приложении N 8 к Методическим рекомендациям). Документирование позиции эксперта содержит дату обсуждения, состав участников обсуждения, вопросы, обсуждаемые с экспертом, и мнение эксперта по каждому вопросу.
7. Оценка результатов работы (услуги) эксперта
и использование их в отчете о результатах мероприятия
7.1. Способ оформления результатов работы (услуги) экспертов зависит от формата его привлечения:
для индивидуальных консультаций и структурированных обсуждений - итоги встреч с экспертами. Примерная форма документирования итогов встречи с экспертами приведена в приложении N 8 к Методическим рекомендациям;
для фокус-групп, интервью, опросов - аудиозапись, стенограмма, резюме встречи, заполненные опросные листы, отчет по результатам анализа полученных данных и информации. Примерный состав и содержание рабочей документации, оформленной по результатам проведения фокус-групп, интервью, опросов, приведены в приложении N 9 к Методическим рекомендациям;
для отдельных заданий и "проектных лабораторий" - отчетные материалы, оформленные в виде отчета (заключения) эксперта (группы экспертов) о выполнении работы (оказании услуги). Примерная структура отчета (заключения) эксперта по результатам выполнения отдельных заданий приведена в приложении N 10 к Методическим рекомендациям.
7.2. Отчетные материалы, оформленные по результатам работы (услуги) экспертов, следует включать в состав рабочей документации.
7.3. Оценка результатов работы (услуги) эксперта для целей мероприятия (в случае выполнения отдельных заданий, в том числе в рамках "проектной лаборатории") представляет собой проведение оценки:
1) соответствия выполненных работ (оказанных услуг) экспертному заданию и (или) требованиям договора (государственного контракта);
2) корректности допущений и методов сбора и (или) анализа данных, надежности использованных экспертом данных и информации;
3) обоснованности выводов эксперта и применимости в отчете о результатах мероприятия;
4) риска и степени заимствований.
7.4. Для получения объективного заключения рекомендуется осуществлять оценку результатов работы (услуги) эксперта с привлечением сотрудников Счетной палаты и (или) экспертов, не принимавших участие в выполнении экспертного задания, но обладающих необходимыми компетенциями по оценке результатов работы (услуги). В случае выполнения работ (оказания услуг) в рамках государственного контракта целесообразно создание приемочной комиссии с включением сотрудников Счетной палаты, обладающих необходимыми компетенциями (в том числе иных структурных подразделений).
7.5. При оценке примененных экспертом методов сбора и анализа данных и информации необходимо оценить:
релевантность метода поставленной задаче;
полноту и качество имеющихся данных и информации;
ограничения надежности имеющихся данных и информации.
Проверка допущений, сделанных экспертом, проводится на предмет их уместности, разумности и обоснованности.
7.6. Обоснованность выводов определяется качеством сформированной экспертом доказательной базы, то есть наличием достаточного количества аудиторских доказательств надлежащего качества. В случаях когда результаты работы (услуги) эксперта не являются обоснованными, рекомендуется согласовать с экспертом характер и объем дальнейшей работы, которую должен выполнить эксперт для достаточного обоснования полученных результатов, или привлечь другого эксперта.
7.7. Оценка результатов работы (услуг) эксперта и применимости для целей мероприятия оформляется по форме, представленной в приложении N 11 к Методическим рекомендациям.
В случае создания приемочной комиссии оценка соответствия результатов выполненных работ (оказанных услуг) условиям государственного контракта дополнительно оформляется протоколом.
7.8. Для оценки качества результатов работы (услуги) эксперта следует провести следующие процедуры:
изучение информации, сопоставимой полученным результатам исследования, в авторитетных источниках в целях оценки уникальности, непротиворечивости, актуальности и т.п. полученных результатов;
оценку материалов, подготовленных экспертом, свидетельствующих об объективности выводов и выполнении им всех необходимых процедур;
повторное выполнение отдельных процедур, например, контрольный пересчет отдельных значений показателей, рассчитанных экспертом;
получение "второго" мнения об объективности выводов и адекватности результатов у других экспертов или сотрудников иных структурных подразделений, обладающих необходимыми специальными знаниями по данному вопросу.
Под авторитетным источником в целях настоящих Методических рекомендаций понимается источник информации, заслуживающий доверия на основании профессионального суждения (например, информация научных статей с высоким импакт-фактором < 11 > научного журнала и т.п.).
< 11 > Импакт-фактор - численный показатель цитируемости статей, опубликованных в научном журнале.
7.9. В отчете о результатах мероприятия, подготовленном с использованием результатов работы (услуги) эксперта, не может выражаться мнение эксперта. Отчет может содержать результаты, выводы и предложения (рекомендации), сформулированные на основе использования результатов работы (услуги) эксперта.
7.10. По итогам оценки результаты работы (услуги) эксперта могут быть использованы как аудиторские доказательства при подготовке отчета о результатах мероприятия в случае соответствия целям мероприятия и установленным экспертным заданием требованиям. При этом руководитель мероприятия и участники мероприятия не освобождаются от ответственности за результаты, выводы, предложения (рекомендации), сформированные и отраженные в отчете о результатах мероприятия. Их ответственность не уменьшается вследствие использования работы (услуги) эксперта.
7.11. Для подтверждения возможности использования результатов работы (услуги) эксперта руководитель мероприятия должен получить от эксперта материалы, подтверждающие выполнение работ (оказания услуг) и обосновывающие сформулированные экспертом выводы. Состав отчетных материалов зависит от специфики выполняемой экспертом работы (оказываемой услуги). В случае если результаты работы (услуги) эксперта содержат информацию ограниченного доступа, не допускается передача отчетных материалов с использованием каналов связи без применения средств защиты информации. Способ передачи отчетных материалов может быть указан в договоре, заключенном с экспертом.
Приложение N 1
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
РИСКИ ПРИВЛЕЧЕНИЯ ЭКСПЕРТОВ И РЕКОМЕНДУЕМЫЕ МЕРЫ
ПО ИХ СНИЖЕНИЮ
| Риски | Меры снижения риска |
| Риск ненадлежащего раскрытия вопроса мероприятия в случае отказа эксперта от выполнения работ (оказания услуг), нарушения первоначальных договоренностей или некачественного результата | 1. Формирование и согласование с экспертом экспертного задания с подробным описанием работ (услуг) и требованиями к их результату. 2. Привлечение эксперта к выполнению работ (оказанию услуг) по отдельному (одному из нескольких) вопросу цели мероприятия (требующему специальных знаний, отсутствующих у инспекторов). 3. Регулярное взаимодействие с экспертом - обсуждение, оценка и корректировка предварительных (промежуточных) результатов |
| Риск конфликта интересов - риск личной заинтересованности (прямой или косвенной) эксперта, которая может повлиять на процесс и результат или может привести к сомнению в объективности эксперта | 1. Анализ предыдущей деятельности эксперта и изменений в период проведения мероприятия (аффилированность с объектом проверки, участие в разработке и/или реализации документов - предметов проверки). 2. Подписание договора, включающего пункты о необходимости предупреждения о конфликте интересов |
| Риск разглашения конфиденциальной информации, "утечки данных" | 1. Предупреждение эксперта о запрете на распространение (передачу третьим лицам) полученных сведений, не подлежащих разглашению. 2. Подписание договора < 12 > , содержащего соглашение о соблюдении требований конфиденциальности. 3. Передача данных защищенным способом |
| Риск субъективности экспертного мнения, неоднозначной интерпретируемости, получения необъективного профессионального суждения эксперта | 1. Получение рабочей документации, обосновывающей выводы эксперта. 2. Проведение процедур контроля качества выполнения работы (оказания услуги) экспертом (описаны в разделе 7 Методических рекомендаций). 3. Привлечение более чем одного эксперта по одному экспертному заданию |
| Риск недостаточной компетенции эксперта | 1. Привлечение экспертов, включенных в Реестр экспертов. 2. Оценка компетенции эксперта в применении к задаче (раздел 3 Методических рекомендаций) |
| Риск "формального" участия эксперта (недостаточность времени, уделяемого экспертом выполнению работ (оказанию услуг) | 1. Учет нагрузки очень востребованных экспертов. 2. Детально проработанное техническое задание на выполнение работ (оказание услуг) экспертом. 2. Предпочтение нетрудоемких форматов при безвозмездном привлечении. 3. Привлечение более одного эксперта к выполнению отдельной работы (услуги) |
| Риск оспаривания (непризнания) экспертного мнения объектом мероприятия | 1. Привлечение нескольких независимых друг от друга экспертов. 2. Использование только обоснованных экспертных мнений (подтвержденных рабочей документацией, подготовленной экспертом). 3. Компетентность эксперта должна быть подтверждена (раздел 3 Методических рекомендаций) |
| Риск неэтичного поведения эксперта < 13 > | 1. Оценка деловой репутации эксперта, в т.ч. конфликтности, недобросовестности. 2. Незамедлительное сглаживание конфликтов в случае их возникновения с привлечением руководства |
< 12 > Проект договора формируется автоматически с использованием функционала Экспертной платформы.
< 13 > Под неэтичным поведением эксперта понимается поведение, наносящее ущерб репутации и деятельности Счетной палаты (негативные комментарии о Счетной палате в целом, конкретных результатах деятельности в СМИ, социальных сетях, личном общении; вовлечение в ненадлежащую деятельность, потенциально дискредитирующую его самого или объект проверки, которая может вызвать конфликт интересов). Неэтичное поведение эксперта может проявляться в случае неучета или несогласия с его (ее) мнением, соперничества между экспертами, возникновения конфликтных ситуаций, существенного несоблюдения первоначальных договоренностей без достаточного обоснования причин и др.
Приложение N 2
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
Форма отбора эксперта для выполнения экспертного задания
| 1 | Ф.И.О., должность эксперта | |
| 2 | Процедура подбора проведена через | |
| Экспертную платформу | ||
| Департамент исследований и методологии | ||
| Самостоятельно | ||
| 3 | Экспертное задание | |
| 4 | Обоснование необходимости привлечения эксперта | |
| 5 | Обоснование выбора эксперта (Следует обосновать, почему был отобран конкретный эксперт для выполнения экспертного задания. При описании следует перечислять следующие характеристики эксперта: опыт экспертной деятельности; опыт выполнения аналогичных задач; участие в исследованиях/проектах/экспертизах прикладного характера/мероприятиях; публикации/доклады/выступления/разработанные экспертом образовательные программы; членство и должности эксперта в профессиональных организациях и объединениях; наличие сертификатов и наград) | |
| 6 | Оценка объективности (непредвзятости, отсутствия конфликта интересов) (Рекомендуется проводить с использованием нескольких источников данных, в том числе: единая информационная система в сфере закупок, проект "Госрасходы" - анализ контрактов с объектом проверки организации, являющейся местом работы эксперта, по схожей экспертному заданию тематике; система "СПАРК" - анализ контрагентов; информационные ресурсы места работы эксперта (публикации, совместные проекты, партнеры, менторы); информационные ресурсы объекта проверки (состав коллегиальных органов, публикации с упоминанием эксперта); социальные сети, Телеграмм-каналы, поисковые системы - новости, публикации с упоминанием эксперта по тематике экспертного задания.) | |
| Наличие личной заинтересованности | Да | |
| Нет | ||
| Комментарий: | ||
| Наличие деловой заинтересованности | Да | |
| Нет | ||
| Комментарий: | ||
Приложение N 3
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
Критерии отбора экспертов в предметной области
Подбор эксперта для выполнения работ (оказания услуг) в целях мероприятий осуществляется по следующим категориям:
компетенции;
опыт экспертной деятельности;
деловая репутация.
Кандидат в эксперты может быть оценен:
в качестве академического эксперта (в случае, когда область интересов лица либо организации лежит в области научных знаний);
в качестве эксперта-практика (в случае, когда область интересов лица либо организации лежит в практической сфере деятельности).
Оценка академического эксперта
Для оценки компетенций используются следующие параметры:
1) уровень исследовательской деятельности (ученая степень, индекс цитирования Хирша, наличие качественных публикаций в рецензируемых российских и зарубежных научных изданиях (рассчитывается на основе показателей квартилей (Q1 и Q2) изданий базы Scopus);
2) уровень научно-педагогической деятельности (ученое звание).
Для оценки экспертной деятельности используются следующие параметры:
1) членство в координационных и совещательных органах (экспертных советах, общественных советах, наблюдательных советах, рабочих группах, комитетах, комиссиях) государственных организаций и институтов развития;
2) руководство научным подразделением.
Оценка эксперта-практика
Для оценки компетенций используются следующие параметры:
1) опыт участия в российских (только федерального уровня) и международных исследованиях/проектах/мероприятиях, оказавших положительное воздействие на государственную, муниципальную или корпоративную политику;
2) опыт выполнения работ (оказания услуг) в определенной сфере (наличие информации об участии в проектах по тематике мероприятия, релевантный опыт работы);
3) наличие профессиональных международных сертификатов или аттестатов (дающих право на ведение профессиональной деятельности в определенной сфере, например международные квалификационные аттестаты аудиторов CIMA, ACCA, CFA, CIA, или подтверждающих определенный уровень компетенций, например сертификаты по стандартам PMI), призовые места профессиональных конкурсов (например, "Экономист года");
4) наличие качественных (новизна идей, обоснованность аргументации, наличие рабочих решений сформулированных проблем) аналитических/экспертных публикаций, докладов/опубликованных экспертных мнений в периодических СМИ/выступлений на международных мероприятиях.
Для оценки экспертной деятельности используются следующие параметры:
1) членство в профессиональных ассоциациях, комитетах, деловых объединениях, обществах федерального уровня (ведущих активную деятельность последние 5 лет), жюри профессиональных конкурсов;
2) членство в координационных и совещательных органах (экспертных советах, общественных советах, наблюдательных советах рабочих группах, комитетах, комиссиях) государственных организаций и институтов развития (за последние 5 лет);
3) членство в управлении (руководство) в общественных организациях федерального уровня, ведущих активную деятельность последние 5 лет, авторство общественных проектов.
Для оценки деловой репутации кандидата как в качестве научного эксперта, так и в качестве эксперта-профессионала принимается во внимание наличие рекомендаций сотрудников Счетной палаты и/или других экспертов в данной области.
Для всех кандидатов в эксперты могут быть применены (при наличии) критерии деловой репутации:
1) отсутствие чрезмерной судебной активности (частота участия в судебных процессах);
2) отсутствие конфликтности (негативной медиа-активности, регулярных резких негативных высказываний, неконструктивной критики);
3) отсутствие фактов недобросовестного поведения (наличия негативных публикаций/новостей/отзывов/сведений о фактах плагиата, манипулирования данными);
4) деловая репутация организации (когда репутацию эксперта характеризует репутация организации).
Приложение N 4
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
ПОРЯДОК
ВЕДЕНИЯ РЕЕСТРА ЭКСПЕРТОВ СЧЕТНОЙ ПАЛАТЫ
1. Включение эксперта в реестр экспертов Счетной палаты
2. Исключение эксперта из реестра экспертов Счетной палаты
Приложение N 5
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
Форма заявки на подбор экспертов
При необходимости поддержки в подборе экспертов со стороны Департамента исследований и методологии заявка отправляется на адрес электронной почты: expert@ach.gov.ru
При самостоятельном подборе форма может быть использована для постановки задачи подбора ответственным сотрудником.
| Наименование ЭАМ/КМ, п. Плана работы | |
| Объекты ЭАМ/КМ | |
| Количество экспертов | |
| Сфера деятельности/предметная область | |
| Требования к эксперту | Требования к компетенциям (при необходимости указать допуск к государственной тайне) |
| Условия привлечения | Безвозмездное/Возмездное Если возмездное, указать сумму, статус заявки на закупку (поданы предложения в План-график закупок/финансирование согласовано (указать кем)/выделение средств согласовано) |
| Предполагаемый этап, формат и сроки привлечения | Устная консультация, участие в опросе или интервью, экспертная оценка материалов, выполнение работ (оказание услуг) (указать каких) |
| Предполагаемые вопросы эксперту в привязке к целям КМ/ЭАМ |
Приложение N 6
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
СХЕМА
ПРОЦЕССОВ ПРИВЛЕЧЕНИЯ ЭКСПЕРТОВ С ИСПОЛЬЗОВАНИЕМ
ЭКСПЕРТНОЙ ПЛАТФОРМЫ
Приложение N 7
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
СХЕМА
ПОДГОТОВКИ ПРОЕКТА ДОГОВОРА С ЭКСПЕРТОМ
В ЭКСПЕРТНОЙ ПЛАТФОРМЕ
Приложение N 8
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
Примерная форма документирования итогов встречи с экспертами
Тема встречи __________________________________________________________ Наименование ЭАМ/КМ: __________________________________________________ (указывается краткое наименование ЭАМ/КМ, в рамках которого осуществляется взаимодействие с экспертами)Дата
Участники:
Со стороны Счетной палаты
1. Ф.И.О., должность, структурное подразделение
2. Ф.И.О., должность, структурное подразделение
3. Ф.И.О., должность, структурное подразделение
Со стороны экспертов
1. Ф.И.О., должность, организация
2. Ф.И.О., должность, организация
Вопрос 1: (указываются основные тезисы, озвученные по данному вопросу с указанием автора тезиса) < 14 >
< 14 > Целесообразно фиксировать мнение каждого участника обсуждения в разрезе вопросов повестки, единое мнение и разногласия по вопросам.
Вопрос 2: (указываются основные тезисы, озвученные по данному вопросу с указанием автора тезиса)
...
По итогам встречи решили:
1.
2.
Приложение N 9
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
ПРИМЕРНЫЙ СОСТАВ И СОДЕРЖАНИЕ РАБОЧЕЙ ДОКУМЕНТАЦИИ,
ОФОРМЛЕННОЙ ПО РЕЗУЛЬТАТАМ ПРОВЕДЕНИЯ ФОКУС-ГРУПП,
ИНТЕРВЬЮ, ОПРОСОВ
Качественные исследования (интервью, фокус-группы)
1. Дизайн исследования.
1.1. Цель и задачи исследования (исследовательские вопросы).
1.2. Объект и предмет исследования.
1.3. Описание метода сбора эмпирических данных.
2. Описание выборки.
2.1. Описание генеральной совокупности.
2.2. Описание и обоснование критериев отбора и метода построения выборки.
2.3. Описание выборочной совокупности.
3. Руководство для проведения интервью/фокус-группы.
4. Аудиозаписи интервью.
5. Транскрипты.
6. Анонимизированный список респондентов.
7. Аналитическая записка.
7.1. Исследовательский вопрос и эмпирическая база исследования.
7.2. Краткие итоги исследования: основные результаты, выводы и рекомендации.
7.3. Полные итоги исследования.
Количественные исследования (опросы)
1. Дизайн исследования.
1.1. Цель, задачи и гипотезы исследования.
1.2. Объект и предмет исследования.
1.3. Описание метода сбора эмпирических данных.
2. Описание выборки.
2.1. Описание генеральной совокупности.
2.2. Описание и обоснование критериев отбора и метода построения выборки.
2.3. Описание выборочной совокупности.
3. Анкета для проведения опроса.
4. Набор данных (датасет) с результатами опроса.
5. Аналитическая записка.
5.1. Исследовательский вопрос и эмпирическая база исследования.
5.2. Краткие итоги исследования: основные результаты, выводы и рекомендации.
5.3. Полные итоги исследования.
Приложение N 10
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
ПРИМЕРНАЯ СТРУКТУРА ОТЧЕТА (ЗАКЛЮЧЕНИЯ) ЭКСПЕРТА
ПО РЕЗУЛЬТАТАМ ВЫПОЛНЕНИЯ ОТДЕЛЬНЫХ ЗАДАНИЙ
Характер отчетных материалов по результатам выполнения отдельных заданий зависит от типа исследования, а также от характера исследования (теоретическое или прикладное).
Отчет (заключение) эксперта должно, как правило, состоять из трех частей: вводная, исследовательская и выводы.
Вводная часть содержит:
наименование и дату составления отчета (заключения);
сведения об эксперте (фамилия, должность, ученая степень (при наличии);
вопросы, поставленные перед экспертом.
Исследовательская часть содержит:
описание и характеристику предмета и объектов исследования;
описание методов и/или технических средств, примененных при выполнении работы (оказании услуги);
полученные результаты.
Выводы содержат мнение эксперта по поставленным перед ним вопросам.
К отчету (заключению) эксперта могут прилагаться: рисунки, фотографии, графики, чертежи, и т.д. Все приложения сопровождаются пояснительным текстом.
Приложение N 11
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
Шаблон оценки результатов работы и применимости
результатов работы эксперта
| 1. | Мероприятие, руководитель мероприятия | |
| 2. | Экспертное задание (цель и задачи) | |
| 3. | Краткое описание материалов, подготовленных экспертом | |
| 4. | Материалы, подготовленные экспертом, будут использоваться: | |
| Как единственный источник аудиторских доказательств для обоснования результатов, выводов, предложений (рекомендаций) | ||
| Как один из нескольких источников аудиторских доказательств для обоснования результатов, выводов, предложений (рекомендаций) | ||
| Дополнительная (описательная) информация, которая может существенно повлиять на результаты, выводы, предложения (рекомендации) | ||
| 5. | Оценка допущений и методов сбора и анализа данных | |
| А. Использованные экспертом допущения являются уместными, разумными, обоснованными | ||
| Б. Примененные методы являются подходящими для целей выполнения работы экспертом | ||
| В. Состав и надежность данных позволяют применить выбранные методы | ||
| Г. Примененные методы являются воспроизводимыми | ||
| Заключение по результатам оценки допущений, методов сбора и анализа данных | ||
| 6. | Учитывая результаты оценки по каждому блоку, выберите один вариант оценочного суждения: | |
| А. Результаты работы эксперта могут быть использованы при подготовке отчета | ||
| Б. Результаты работы эксперта не могут быть использованы при подготовке отчета | ||
| В. Результаты работы эксперта частично могут быть использованы при подготовке отчета | ||
Приложение N 12
к Методическим рекомендациям
по организации взаимодействия
с экспертами и использованию
результатов их работы
ПРИМЕРНЫЕ ВОПРОСЫ
ДЛЯ ОБСУЖДЕНИЯ ДИЗАЙНА МЕРОПРИЯТИЯ С ЭКСПЕРТОМ
1. Каковы ключевые риски в сфере предмета мероприятия? Относятся ли сформулированные цели к областям высокого риска? Какие еще аспекты предметной области должны быть проанализированы в ходе мероприятия?
2. Какие гипотезы являются наиболее приоритетными? Какие дополнительные гипотезы целесообразно сформулировать? Какие существуют ограничения проверки сформулированных гипотез?
3. Является ли выбранный метод подходящим для проверки гипотезы? Какие данные можно было бы использовать для применения выбранного метода? Какие ограничения методов сбора и анализа данных могут возникнуть?
4. Позволяет ли выбранный метод выявить причинно-следственную связь (при оценке влияния)? Если нет, то какие модификации вы можете предложить для выявления данной связи?