ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ УНИТАРНОЕ ПРЕДПРИЯТИЕ «ВСЕРОССИЙСКИЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ МЕТРОЛОГИЧЕСКОЙ СЛУЖБЫ»

(ФГУП «ВНИИМС»)

ФЕДЕРАЛЬНОГО АГЕНСТВА ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И

МЕТРОЛОГИИ

РЕКОМЕНДАЦИЯ ГОСУДАРСТВЕННАЯ СИСТЕМА ОБЕСПЕЧЕНИЯ ЕДИНСТВА

ИЗМЕРЕНИЙ

ТИПОВАЯ МЕТОДИКА ИСПЫТАНИЙ И ПОДТВЕРЖДЕНИЯ СООТВЕТСТВИЯ (СЕРТИФИКАЦИИ) ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СРЕДСТВ ИЗМЕРЕНИЙ

МИ 3566-2016

Москва 2016 г.

ПРЕДИСЛОВИЕ

РАЗРАБОТАНА Федеральным государственным унитарным предприятием «Всероссийский научно - исследовательский институт метрологической службы» (ФГУП «ВНИИМС»)

ИСПОЛНИТЕЛИ Ю.А. Кудеяров, д.ф.-м.н., профессор, (руководитель темы), А.Н. Паньков, к.т.н.

УТВЕРЖДЕНА ФГУП «ВНИИМС» «07» ноября 2016 г. ЗАРЕГИСТРИРОВАНА ФГУП «ВНИИМС» «07» ноября 2016 г.

ВВЕДЕНА ВПЕРВЫЕ

2

6.1.4.    Перечень документов, представляемых для испытаний, объем и методы их проверки определяется на этапе разработки методики испытаний и согласуется заявителем испытаний с организацией, проводящей испытания.

6.1.5.    В документации на ПО СИ следует предоставить информацию, которая должна содержать сведения из приведенного ниже перечня в той части, которая применима к данному СИ:

обозначение ПО, включающее в себя его наименование, обозначение его версии или версий его модулей;

описание назначения ПО, его структуры и выполняемых функций (структура ПО может быть представлена в виде одного или нескольких взаимосвязанных модулей, реализующих функции ПО, с учетом его разделения, при этом описание структуры ПО может быть осуществлено в графическом виде с пояснениями и/или в текстовой форме); описание методов и способов идентификации ПО, а также его метрологически значимых частей, функций и параметров, т.е. проверяется наличие информации о методе (алгоритме) идентификации ПО, способах идентификации ПО в соответствии с принятым методом, о системе кодификации номера версии;

описание реализованных в ПО расчетных алгоритмов, а также их блок-схемы, т.е. проверяется описание логических схем алгоритмов, функций, реализуемых алгоритмами ПО, а также всех величин, рассчитываемых с их помощью, с их математическим представлением в виде формул; проверяются также данные о степени округления при расчетах (точность алгоритмов);

описание интерфейсов пользователя, всех меню и диалогов;

описание интерфейсов связи ПО для передачи, обработки и хранения

данных в том числе посредством открытых или закрытых сетей связи, т.е.

проверяется наличие информации о методе связи СИ и ПО, о данных,

получаемых от и передаваемых в СИ программным обеспечением,

11

наличие описания всех аппаратных и программных компонент СИ, а также описания исполняемых файлов (название, размер и т.п.)); описание реализованных методов защиты ПО и данных, т.е. проверяется описание реализованных методов (авторизация пользователя, журнал событий, кодирование данных и т.д.), защиты ПО и данных от случайных (непреднамеренных) и преднамеренных изменений и искажений, а также наличие в документации описания методов фиксации сообщений об ошибках;

описание способов хранения измеренных данных на встроенном, удаленном или съемном носителе;

описание требуемых системных и аппаратных средств, если эта информация не приведена в руководстве пользователя.

6.1.6. При испытаниях с целью утверждения типа средств измерений, включающих в себя или сопровождаемых ПО, в соответствии с Приложением Б Рекомендаций Р 50.2.077-2014 заказчиком испытаний представляется также «Декларация полноты документации, уровня защиты и отсутствия недокументированных возможностей программного обеспечения средств измерений».

6.1.7.    Указанная в 6.1.5 информация может быть представлена в виде программных документов (например, описания программы, пояснительной записки, описания применения, руководства системного программиста, руководства оператора и т. д.) или иной программной документации, имеющейся у заявителя, при этом при ее составлении можно руководствоваться рекомендациями единой системы программной документации (ЕСПД) и/или другой аналогичной документации.

6.1.8.    Результаты проверки, в том числе выявленные несоответствия, полученные при анализе документации ПО, заносятся в протоколы испытаний.

12

6.2 Проверка разделения программного обеспечения

6.2.1.    Разделение ПО СИ проводят в целях выделения в составе ПО СИ метрологически значимой части, т.е. той его части, которая подлежит испытаниям.

6.2.2.    К метрологически значимой части ПО СИ относятся программы, программные модули и алгоритмы, выполняющие функции обработки измерительной информации, по его идентификации и защите, а также части ПО, отнесение которых к метрологически значимым согласовано между участниками испытаний.

6.2.3.    После испытаний ПО метрологически значимая часть ПО СИ не должна изменяться. Любая модификация метрологически значимой части ПО СИ приводит к изменению его идентификационных данных (признаков) и к необходимости проведения повторных испытаний, в частности, испытаний с целью утверждения типа СИ или внесению изменений в описание типа СИ в соответствии с [3].

6.2.4.    Метрологически не значимая часть ПО СИ испытаниям не подлежит. Ее модификация может быть выполнена без уведомления организаций, проводящих испытания, если изменение этой части не проводит к изменению идентификационных данных (признаков) метрологически значимой части ПО СИ.

6.2.5.    Если разделение ПО СИ не проведено, то все ПО рассматривается как метрологически значимое.

6.2.6.    Разделение ПО на метрологически значимые и не значимые части может быть проведено как на «низком», так и на «высоком» уровнях.

«Низкий» уровень разделения выполняется независимо от операционной системы внутри кода ПО (на уровне языка программирования). Такой уровень разделения ПО может быть реализован как в СИ со встроенным ПО, так и в СИ с автономным ПО, т.е. в СИ на основе персонального компьютера.

13

«Высокий» уровень разделения означает, что оно реализуется в виде независимых объектов операционной системы (например, части ПО содержатся в отдельных файлах операционной системы). «Высокий» уровень разделения возможен только в СИ с автономным ПО, т.е в СИ на основе универсального компьютера.

6.2.7.    На основе анализа документации и проведения тестирования (функциональных проверок) определяется правильность разделения ПО СИ или устанавливается отсутствие разделения. При этом проверяется, что к метрологически значимой части ПО относятся:

программы, программные модули и алгоритмы, принимающие участие в обработке (расчетах) результатов измерений или влияющие на них; программы, программные модули и алгоритмы, осуществляющие передачу, идентификацию и обновление (загрузку) ПО, защиту ПО и данных;

параметры ПО СИ, участвующие в вычислениях и влияющие на результат измерений;

компоненты защищенного интерфейса для обмена данными между метрологически значимыми и незначимыми частями ПО СИ.

6.2.8.    В случаях, когда проводятся испытания сложных измерительных систем или систем, используемых при коммерческих расчетах, или когда к этим системам предъявляются исключительные требования по безопасности и надежности их функционирования, правильность разделения ПО СИ дополнительно проверяется при помощи анализа его исходного кода.

6.2.9.    Сведения о разделении ПО или об его отсутствии заносятся в протокол испытаний.

14

6.3 Проверка идентификационных данных (признаков) и методов идентификации программного обеспечения

6.3.1.    Проверку идентификационных данных (признаков) ПО и методов идентификации проводят при испытаниях ПО, а также при поверке (калибровке) автоматизированных СИ. Согласно рекомендациям Р 50.2.077-2014 идентификация ПО СИ, осуществляемая при поверке (калибровке) СИ, представляет собой проверку соответствия ПО СИ тому, которое было зафиксировано (документировано) в описании типа СИ, с последующим обеспечением защиты ПО от несанкционированного доступа во избежание искажений результатов измерений.

6.3.2.    Проверку идентификационных данных (признаков) ПО и методов идентификации проводят при испытаниях ПО СИ на основе анализа документации и проведения тестирования (функциональных проверок). При этом для представителей контролирующих органов и организаций, проводящих испытания, в ряде случаев рекомендуется обеспечить доступ к исполняемому коду ПО СИ.

6.3.3.    Доступ к исполняемому коду может быть организован с помощью стандартных интерфейсов связи (RS 232, USB и т.п.) или с помощью иных интерфейсов связи, описанных в документации, в комплекте с необходимым набором аппаратно-программных средств.

6.3.4.    На основе анализа документации определяют, какими из следующих способов осуществляется идентификация ПО СИ:

с помощью интерфейса пользователя (например, по команде пользователя

на дисплее СИ);

в процессе штатного функционирования ПО (например, на дисплее СИ

через определенные интервалы времени);

с помощью интерфейса связи (например, на экране персонального

компьютера, подключенного к СИ).

15

6.3.5.    При тестировании (функциональной проверке) способов идентификации ПО СИ убеждаются в том, что они соответствуют тем способам идентификации, которые описаны в документации.

6.3.6.    В случае, если идентификация может быть осуществлена несколькими способами, проверяется независимость идентификационных данных (признаков) от способа идентификации.

6.3.7.    К идентификационным данным (признакам) относятся следующие данные (их содержание и вид записи может зависеть от типа СИ):

идентификационное наименование программного обеспечения; номер версии (идентификационный номер) программного обеспечения; цифровой идентификатор программного обеспечения (контрольные суммы исполняемого кода метрологически значимых частей ПО, рассчитанные по алгоритмам CRC32, md5, SHA1 и т. п. или по специально разработанным алгоритмам с указанием способа их вычисления).

В особых случаях к идентификационным данным (признакам) ПО можно отнести таюке наименования ПО, наименование разработчика, серийный номер СИ, номер свидетельства или сертификата соответствия и т. д., если эти данные непосредственно связаны с ПО.

Идентификационные данные (признаки) должны иметь структуру, однозначно связанную с метрологически значимой частью программного обеспечения.

Допускается представление номера версии ПО в форме записи «номер версии не ниже ...» или замены некоторых элементов в его обозначении, отвечающих за метрологически незначимую часть, специальными символами (например, «X» или «-»). Например, версия программного обеспечения «Система фотограмметрическая однокамерная СФО» v.3.5.7.2 может быть представлена в виде v.3.5.x.x, при этом только часть версии ПО «у.3.5» отвечает за метро-

16

логически значимую часть, а запись «версия ПО не ниже v.3.5.7.2» может означать, что допускаются версии v.3.5.7.2, v.3.5.7.3 , v.3.5.8.1 и т. д.

6.3.8.    На основе анализа документации и проведения тестирования (функциональных проверок) определяют реализованные в ПО СИ методы идентификации ПО. Идентификация ПО СИ может быть реализована следующими методами:

с помощью ПО СИ или аппаратно-программных средств, разработанных

организацией - производителем СИ (ПО СИ);

с использованием специальных утвержденных аппаратно-программных

средств и/или с помощью утвержденного ПО.

6.3.9.    Проверяются наличие и достаточность идентификационных данных (признаков) ПО СИ для его однозначной идентификации.

6.3.10.    Проверяется, что расчет контрольной суммы производится для метрологически значимой части ПО СИ. При этом реализованный в ПО СИ алгоритм расчета контрольной суммы также относится к метрологически значимой части ПО СИ.

6.3.11.    В случае, когда идентификация ПО СИ осуществляется с использованием специальных утвержденных аппаратно-программных средств и/или утвержденного ПО, проверку контрольной суммы метрологически значимой части ПО СИ осуществляет организация, проводящая испытания.

6.3.12.    Организация - разработчик ПО СИ вправе использовать для идентификации ПО большее количество идентификационных данных (признаков), чем это указано в п. 6.3.7 настоящей Рекомендации. В этом случае проверяется, что структура идентификационных данных (признаков) ПО позволяет однозначно выделить идентификационные данные (признаки), относящиеся к метрологически значимой части ПО.

6.3.13.    В случаях, когда проводятся испытания сложных измерительных

систем или систем, используемых при коммерческих расчетах, или, когда к

этим системам предъявляются исключительные требования по безопасности и

17

надежности их функционирования, дополнительно проводят проверку методов и способов идентификации ПО СИ при помощи анализа его исходного кода.

6.3.14. Сведения об идентификационных данных (признаках) ПО СИ и методах его идентификации вносят в протокол испытаний.

6.4 Проверка структуры программного обеспечения

6.4.1.    Под проверкой структуры ПО понимают:

проверку    отсутствия    недопустимого    влияния    на    метрологически

значимую часть ПО и данные, осуществляемого через интерфейс пользователя;

проверку    отсутствия    недопустимого    влияния    на    метрологически

значимую часть ПО и данные, осуществляемого через интерфейсы связи; проверку правильности взаимодействия между метрологически значимой и незначимой частями ПО.

6.4.2.    Проверка отсутствия недопустимого влияния на метрологически значимую часть ПО и данные, осуществляемого через интерфейс пользователя.

6.4.2.1.    Анализом документации на ПО убеждаются в том, что она включает в себя:

полный перечень всех команд интерфейса пользователя вместе с изложением способа их организации (меню, пункты меню и т.д.); описание их назначения и воздействия на функции СИ и/или данные.

6.4.2.2.    Проведением тестирования (функциональных проверок) всех команд интерфейса пользователя ПО СИ убеждаются в их соответствии описанным в документации. Проверяется однозначное назначение каждой команды для инициирования функции или изменения данных в соответствии с представленной документацией.

6.4.2.3.    С помощью тестирования (функциональных проверок) убеждаются, что команды и данные, введенные через интерфейс пользователя

18

ПО СИ, не оказывают влияние на достоверность результатов измерений. При этом проверяют:

возможность обнаружения программным обеспечением СИ неправильно введенных через интерфейс пользователя данных (например, данных, превышающих установленные ограничения) и выдачу соответствующего предупреждения;

невозможность изменения значений параметров ПО СИ, участвующих в вычислениях и влияющих на результат измерений, с помощью команд и данных, вводимых через интерфейс пользователя во время проведения измерений;

невозможность искажения значений измеренных данных, хранящихся в памяти СИ, с помощью команд и данных, вводимых через интерфейс пользователя.

6A2.4. С учетом способа организации интерфейса пользователя проверяют, что команды или их комбинации, не описанные в документации, не оказывают влияния на функции метрологически значимой части ПО СИ и данные.

6.4.2.5.    С помощью визуального осмотра и анализа элементов, находящихся внутри корпуса СИ, убеждаются в отсутствии устройств, не описанных в документации на СИ, способных быть частью интерфейса пользователя и оказывать влияние на функции метрологически значимой части ПО СИ, данные или команды интерфейса пользователя (переключатели, свободные контакты на печатной плате и т.д.).

6.4.2.6.    В случаях, когда проводятся испытания сложных измерительных систем или систем, используемых при коммерческих расчетах, или, когда к этим системам предъявляются исключительные требования по безопасности и надежности их функционирования, проверку отсутствия недопустимого влияния на метрологически значимую часть ПО и данные, осуществляемого

19

через интерфейс пользователя ПО СИ, дополнительно проводят при помощи анализа его исходного кода.

6.4.3. Проверка отсутствия недопустимого влияния на метрологически значимую часть ПО и данные, осуществляемого через интерфейсы связи.

6.4.3.1.    Анализом документации на ПО убеждаются в том, что она включает в себя:

полный перечень всех интерфейсов связи, используемых ПО СИ (RS-232, USB и т.п.);

полный перечень команд каждого интерфейса связи вместе с изложением способа их организации;

описание их назначения и воздействия на функции СИ и/или данные.

6.4.3.2.    Проведением тестирования (функциональных проверок) команд интерфейсов связи, используемых ПО СИ, убеждаются в их соответствии описанным в документации. Проверяется однозначное назначение каждой команды для инициирования функции или изменения данных в соответствии с представленной документацией.

6.4.3.3.    С помощью тестирования (функциональных проверок) убеждаются, что команды и данные, переданные через интерфейсы связи, не оказывают влияние на достоверность результатов измерений СИ. При этом проверяют:

возможность обнаружения программным обеспечением СИ неправильно переданных через интерфейсы связи данных (например, данных, превышающих установленные ограничения);

невозможность изменения значений параметров ПО СИ, участвующих в вычислениях и влияющих на результат измерений, с помощью команд и данных, переданных через интерфейсы связи во время проведения измерений;

20

СОДЕРЖАНИЕ

1.    НАЗНАЧЕНИЕ И ОБЛАСТЬ ПРИМЕНЕНИЯ....................................4

2.    НОРМАТИВНЫЕ ССЫЛКИ...................................................................5

3.    ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ..............................................................6

4.    ОБЩИЕ ПОЛОЖЕНИЯ............................................................................7

5.    МЕТОДИКА ИСПЫТАНИЙ И ИХ ОСНОВНЫЕ ЭТАПЫ..............9

6.    МЕТОДЫ ИСПЫТАНИЙ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

СРЕДСТВ ИЗМЕРЕНИЙ И ЕГО АЛГОРИТМОВ...........................................10

6.1    Проверка документации.........................................................................10

6.2    Проверка разделения программного обеспечения...........................13

6.3    Проверка идентификационных данных (признаков) и методов

идентификации программного обеспечения......................................................15

6.4    Проверка структуры программного обеспечения............................18

6.5    Оценка влияния программного обеспечения и его алгоритмов на

метрологические характеристики средств измерений....................................23

6.6.    Проверка защиты программного обеспечения и определение ее уровня 32

6.7.    Проверка программного обеспечения при использовании в нем

информационных технологий...............................................................................38

3

невозможность искажения значений измеренных данных, хранящихся в

памяти СИ, с помощью команд и данных, переданных через интерфейсы

связи.

6.4.3.4.    Проверяют, что недокументированные как команды сигналы или коды, переданные через интерфейсы связи, не оказывают влияние на функции метрологически значимой части ПО СИ и данные.

6.4.3.5.    Проверяют, что команды, передаваемые (получаемые) через интерфейсы связи метрологически незначимой частью ПО СИ, не искажают команды и данные, передаваемые (получаемые) через интерфейсы связи метрологически значимой частью ПО СИ.

6.4.3.6.    В случае, когда в ПО СИ используется часть интерфейсов связи СИ (например, в случае СИ с автономным ПО, т.е. на основе универсального компьютера), проверяют, что сигналы или коды, переданные через неиспользуемые интерфейсы связи, не оказывают влияние на функции метрологически значимой части ПО СИ и данные.

6.4.3.7.    Проверяют, что ПО, использующее интерфейс связи СИ для передачи (получения) команд и данных метрологически значимой части ПО СИ (например, ПО, разработанное организацией-разработчиком (производителем) СИ и используемое для обновления ПО), прошло подтверждение соответствия в установленном порядке.

6.4.3.8.    С помощью визуального осмотра и анализа элементов, находящихся внутри корпуса СИ, убеждаются в отсутствии устройств, не описанных в документации на СИ, способных быть частью интерфейсов связи и оказывать влияние на функции метрологически значимой части ПО СИ, данные или команды интерфейсов связи.

6.4.3.9.    В случаях, когда проводятся испытания сложных измерительных

систем или систем, используемых при коммерческих расчетах, или, когда к

этим системам предъявляются исключительные требования по безопасности и

надежности их функционирования, проверку отсутствия недопустимого

21

1. НАЗНАЧЕНИЕ И ОБЛАСТЬ ПРИМЕНЕНИЯ

Настоящая рекомендация разработана в целях реализации требований к программному обеспечению (далее - ПО) средств измерений (далее - СИ) и его алгоритмам в соответствии со статьей 9 Федерального закона Российской Федерации от 26 июня 2008 г. № 102-ФЗ «Об обеспечении единства измерений», с Федеральным законом Российской Федерации от 22 декабря 2002 г. № 184-ФЗ «О техническом регулировании», Порядком проведения испытаний стандартных образцов или средств измерений в целях утверждения типа и Порядком выдачи свидетельств об утверждении типа стандартных образцов или типа средств измерений, установления и изменения срока действия указанных свидетельств и интервала между поверками средств измерений, утвержденных приказом Минпромторга России от 30 ноября 2009 г. № 1081, национальным стандартом ГОСТ Р 8.654, и другими нормативными документами, указанными в разделе 2 настоящей рекомендации.

Настоящая рекомендация устанавливает методы испытаний ПО СИ и его алгоритмов и распространяются на:

ПО СИ, в том числе измерительных и информационно-измерительных систем, и его алгоритмы;

4

ПО автоматизированных систем, функционирующих с использованием СИ или компонентов измерительных систем, и его алгоритмы;

ПО контроллеров, вычислительных блоков, не входящих в состав измерительных систем, а также технических систем и устройств с измерительными функциями, осуществляющих обработку и представление измерительной информации, и его алгоритмы.

Рекомендации также могут быть использованы при испытаниях ПО СИ, не входящих в сферу государственного регулирования в области обеспечения единства измерений.

В настоящей методике применены следующие сокращения:

ЕСПД - Единая система программной документации;

Методика - Методика испытаний;

MX - Метрологические характеристики;

ПО - Программное обеспечение;

СИ - Средство измерения;

ФЗ - Федеральный закон.

2. НОРМАТИВНЫЕ ССЫЛКИ

В настоящей рекомендации использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 8.839 - 2013 Государственная система обеспечения единства измерений. Общие требования к измерительным приборам с программным управлением

ГОСТ Р 8.654 - 2015 ГСП. Требования к программному обеспечению средств измерений. Основные положения

ГОСТ Р 8.596 - 2002 ГСП. Метрологическое обеспечение измерительных систем. Основные положения

5

P 50.2.077-2014 ГСИ. Испытания средств измерений с целью утверждения типа.Проверка защиты программного обесепечения.

ГОСТ ИСО/МЭК 17025 - 2011 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ Р ИСО 5725-1 - 2002 Точность (правильность и прецизионность) методов и результатов измерений. Часть I. Основные положения и определения

Примечание - При пользовании настоящей рекомендацией целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования -на официальном сайте Федерального агентства по техническому регулированию и метрологии, в сети Интернет или по ежегодно издаваемому информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по соответствующим ежемесячно издаваемым информационным указателям, опубликованным в текущем году.

3. ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ

В настоящей рекомендации применяются термины и определения в соответствии с ГОСТ Р 8.654-2015, кроме того, используются следующие термины:

3.1    Алгоритмы программного обеспечения:    Последовательности

арифметических и логических операций, производимых над измерительной информацией (с учетом априорной информации) с целью определения результатов измерений, а также для реализации хранения, защиты и передачи измерительной информации.

Алгоритмы могут быть заданы различными способами, в том числе, представлены в явном виде (конечной последовательностью арифметических и логических операций), или в виде рекуррентной процедуры.

3.2    Закрытая сеть: Сеть из фиксированного числа участников с известными адресами, функциями и пунктами их местонахождения.

6

[OIML D 31 Edition 2008 E, пункт 3.1.6]

3.3. Интегрированная память: Запоминающее устройство, являющееся частью средства измерений.

[WELMEC 7.2. Issue 5, раздел 2 «Terminology»]

3.4    Опорное программное обеспечение: Программное обеспечение, используемое для сравнения с испытываемым программным обеспечением и отвечающее повышенным требованиям к его вычислительным и функциональным характеристикам, подтвержденным (в ряде случаев независимыми методами) при его неоднократном тестировании и применении.

3.5    Открытая сеть: Сеть с произвольным числом участников (устройств с произвольными функциями). Число, идентификация и локализация участников могут изменяться и быть неизвестными другим участникам.

[OIML D 31 Edition 2008 Е, пункт 3.1.35]

3.6    Тестирование программного обеспечения и алгоритмов: Серия технических операций (функциональных проверок) для подтверждения соответствия испытуемого ПО и его алгоритмов требованиям нормативных документов.

[OIML D 11 Edition:2004, п. 3.20]

Примечание - Тестирование программного обеспечения является, в частности, частью процедуры испытаний СИ в целях утверждения типа, когда проверяются уровень защиты ПО, его идентификационные признаки, а также при оценке влияния ПО на метрологические характеристики СИ.

4. ОБЩИЕ ПОЛОЖЕНИЯ

4.1 Рекомендация применяется при всех видах подтверждения соответствия ПО СИ, в том числе при испытаниях СИ в целях утверждения типа и при сертификации ПО.

7

4.2 Под испытаниями ПО СИ и его алгоритмов понимаются работы по определению их характеристик и свойств, в том числе, уровня защиты, идентификационных данных (признаков), степени влияния на метрологические характеристики СИ с целью подтверждения их соответствия требованиям ГОСТ Р 8.654-2015 и/или других нормативных документов.

4.3.    При испытаниях ПО СИ и его алгоритмов должна быть обеспечена конфиденциальность предоставляемой заявителем испытаний информации.

4.4.    При испытаниях ПО СИ и его алгоритмов должны использоваться методы определения и оценки их характеристик, основанные на международных [1, 2] и отечественных правилах и рекомендациях, которые позволяют с достаточной степенью достоверности подтвердить их соответствие требованиям нормативной документации, указанной в разделе 2 настоящей рекомендации, и определить действительные значения этих характеристик.

4.5.    Характеристики ПО СИ и его алгоритмов молено разбить на две группы.

К первой группе относят характеристики, которые в соответствии с приказом Минпромторга России от 30 ноября 2009 г. № 1081 должны быть внесены в описание типа СИ, а именно:

идентификационные данные (признаки);

уровень защиты от непреднамеренных и преднамеренных изменений; степень влияния на метрологические характеристики (MX) СИ.

Ко второй группе относятся характеристики, которые не вносятся в описание типа СИ, но без оценки и проверки которых невозможно в полной мере установить действительные значения характеристик ПО в целом, в том числе, значения характеристик, относящихся к первой группе. К таким характеристикам относятся:

степень соответствия ПО сопровождающей документации; разделение на метрологически значимую и незначимую части;

наличие или отсутствие защищенных интерфейсов;

другие характеристики, согласованные между заявителем испытаний и организацией, проводящей испытания.

5. МЕТОДИКА ИСПЫТАНИЙ И ИХ ОСНОВНЫЕ ЭТАПЫ

5.1.    Для проведения испытаний ПО СИ и его алгоритмов, на основе методов, изложенных в настоящей рекомендации, разрабатывается методика испытаний, содержащая детальное описание всех действий, выполняемых в процессе испытаний. В методику рекомендуется включать следующие основные этапы испытаний:

определение перечня исследуемых характеристик и параметров, исходных данных и критериев, которым должны удовлетворять результаты, полученные испытуемым ПО и его алгоритмами;

проведение испытаний в соответствии с методикой испытаний и получение результатов анализа документации и тестирования (функциональных проверок) испытываемого ПО; обработка результатов испытаний и их оформление в виде протокола.

5.2.    Методика испытаний разрабатывается для каждого отдельного ПО СИ с учетом его назначения и функциональных особенностей.

5.3.    В методике испытаний:

приводится перечень алгоритмов, характеристик, свойств и параметров ПО, необходимых исходных данных и опорных ПО, а также критерии, позволяющие производить оценку характеристик испытываемого ПО и его алгоритмов;

определяются и описываются методы испытаний, которые должны обеспечить проверку всех основных функций испытываемого ПО, а также его соответствие требованиям к ПО СИ и к его алгоритмам;

9

поэтапно описывается последовательность действий при проведении испытаний ПО и его алгоритмов.

5.4.    По результатам испытаний и проверки идентификационных данных (признаков), степени влияния ПО на MX СИ и уровня защиты ПО СИ составляется протокол испытаний, подписанный непосредственными исполнителями испытаний и утвержденный руководителем организации, проводящей испытания ПО.

5.5.    Результаты испытаний ПО признаются положительными, если при анализе документации и проведении тестирования (функциональных проверок), предусмотренных методикой испытаний, подтверждается соответствие испытываемого ПО требованиям ГОСТ Р 8.654-2015 и/или другой нормативной документации, приведенной в разделе 2 настоящей Рекомендации.

6. МЕТОДЫ ИСПЫТАНИЙ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СРЕДСТВ ИЗМЕРЕНИЙ И ЕГО АЛГОРИТМОВ

6Л Проверка документации

6.1.1.    Представление всей необходимой документации на испытания в соответствии с требованиями ГОСТ Р 8.654-2015, а также других документов, указанных в разделе 2 настоящей Рекомендации, является необходимым условием их проведения.

6.1.2.    В соответствии с требованиями указанных нормативных документов проверяется наличие, достаточность и правильность представленной документации.

6.1.3.    В отдельных случаях при проведении испытаний ПО СИ и его алгоритмов документацию рекомендуется дополнять текстами программ или их фрагментами при этом может быть заключен договор о соблюдении конфиденциальности.

10