Аттестация ПО ИО. Как провести?

[starkoe 0]

Доброе время суток!

В новом ГОСТ Р 8.568-2017 появилась фраза 

"5.1.1 Подтверждение правильности работы ПО ИО осуществляется по результатам проведения аттестации ПО ИО. Если указанные алгоритмы и программы не являются частью функционально законченных ТСУИФ и СИ, то их аттестация проводится в соответствии с ГОСТ Р 8.654  и с применением методов испытаний по ГОСТ Р 8.883 ."

ИО, в моем случае, автоматизированный стенд проверки электронного авиационного регулятора. Управляется ПК на котором установлено наше ПО. В стенде применяются поверенные приборы - вольтметр, генераторы и тд. ПО стенда осуществляет управление регулятором, приборами, получение от приборов результатов измерений в цифре, содержит константы и получает от регулятора параметры тоже в цифре. Далее параметры из регулятора сравниваются с результатами измерений приборов и константами. Преобразований ПО не производит

Как провести эту аттестацию? Кто сталкивался? Можно ли как то обойти это требование?

[Skang Евгений 14]

Я понимаю так, если ПО входит в состав ИО и ПМА содержит требования о подтверждении правильности работы ПО, то достаточно требований изложенных в ПМА, а не в ГОСТ Р 8.654

 

[Влдмир 91]

В 22.01.2019 в 07:39, starkoe сказал:

Доброе время суток!

В новом ГОСТ Р 8.568-2017 появилась фраза 

"5.1.1 Подтверждение правильности работы ПО ИО осуществляется по результатам проведения аттестации ПО ИО. Если указанные алгоритмы и программы не являются частью функционально законченных ТСУИФ и СИ, то их аттестация проводится в соответствии с ГОСТ Р 8.654  и с применением методов испытаний по ГОСТ Р 8.883 ."

ИО, в моем случае, автоматизированный стенд проверки электронного авиационного регулятора. Управляется ПК на котором установлено наше ПО. В стенде применяются поверенные приборы - вольтметр, генераторы и тд. ПО стенда осуществляет управление регулятором, приборами, получение от приборов результатов измерений в цифре, содержит константы и получает от регулятора параметры тоже в цифре. Далее параметры из регулятора сравниваются с результатами измерений приборов и константами. Преобразований ПО не производит

Как провести эту аттестацию? Кто сталкивался? Можно ли как то обойти это требование?

Есть два пути.

1. Гост 8.654-2015 распространяется на ПО СИ. У вас нет метрологически значимого ПО. ПО вашего ИО проверяется в процессе аттестации ИО. (Я ни я и лошадь ни моя).

2. Поскольку у вас нет метрологически значимого ПО, данные ни куда не передаются, то об'ем аттестации значительно сократится.

Аттестация сведется к проверке идентификационного кода, запароленности вашего компьютера, от не санкционированного доступа. В ПМА запишите что делать при изменении ПО ИО.

Второй путь более правильнй. Почитайте еще раз эти госты, может быть все не так страшно и об'ем аттестации можно сократить до приемлимого? 

 

[Маслов В.А. 100]

В 22.01.2019 в 07:39, starkoe сказал:

Доброе время суток!

В новом ГОСТ Р 8.568-2017 появилась фраза 

"5.1.1 Подтверждение правильности работы ПО ИО осуществляется по результатам проведения аттестации ПО ИО. Если указанные алгоритмы и программы не являются частью функционально законченных ТСУИФ и СИ, то их аттестация проводится в соответствии с ГОСТ Р 8.654  и с применением методов испытаний по ГОСТ Р 8.883 ."

ИО, в моем случае, автоматизированный стенд проверки электронного авиационного регулятора. Управляется ПК на котором установлено наше ПО. В стенде применяются поверенные приборы - вольтметр, генераторы и тд. ПО стенда осуществляет управление регулятором, приборами, получение от приборов результатов измерений в цифре, содержит константы и получает от регулятора параметры тоже в цифре. Далее параметры из регулятора сравниваются с результатами измерений приборов и константами. Преобразований ПО не производит

Как провести эту аттестацию? Кто сталкивался? Можно ли как то обойти это требование?

Поскольку ПО ИО установлено на ПК, а не являются частью функционально законченных ТСУИФ и СИ и осуществляет обработку результатов измерений (сравнение), то ПО необходимо аттестовать по ГОСТ Р 8.883. Так как ПО разработано вами, то у вас имеется вся информация для выполнения его аттестации. Основная часть аттестации заключается в проверке правильности работы ПО: а) по управлению приборами - какой режим задан ПО и какой реализован соответствующим прибором; б) правильность сравнения с константами и результатами измерений. Остальная часть аттестации ПО довольно формальная и проверяет данные самого ПО и выполнение требований к нему по защите от изменений.

[Влдмир 91]

Вроде бы и отвечать не на что все правильно. Но...

13 часов назад, Маслов В.А. сказал:

Поскольку ПО ИО установлено на ПК, а не являются частью функционально законченных ТСУИФ и СИ и осуществляет обработку результатов измерений (сравнение), то ПО необходимо аттестовать по ГОСТ Р 8.883. 

 

Установка ПО на ПК не является критерием определяющим не вхождение ПО ИО в состав СИ. Много СИ у которых ПО устанавливается на ПК. Пример - ZETlab.(Анализатор спектра, с кучей других СИ об'едененных в одно целое.)

13 часов назад, Маслов В.А. сказал:

Так как ПО разработано вами, то у вас имеется вся информация для выполнения его аттестации. 

Не факт. Я не удивлюсь если ПО разработано под DOS и ни кто не помнит ни имени его разработчика ни где находится на него документация.

13 часов назад, Маслов В.А. сказал:

Основная часть аттестации заключается в проверке правильности работы ПО: а) по управлению приборами - какой режим задан ПО и какой реализован соответствующим прибором; б) правильность сравнения с константами и результатами измерений.

Я думаю что что эту часть можно провести и в рамках аттестации ИО. И не пугать народ термином аттестация ПО.

13 часов назад, Маслов В.А. сказал:

Остальная часть аттестации ПО довольно формальная и проверяет данные самого ПО и выполнение требований к нему по защите от изменений.

А вот эта часть не формальная, а обязательная и конкретная. Пожалуй одна из немногих позволяющая получить конкретный результат.

 

 

Вообще что имели в виду разработчики гост 8.568, когда писали об аттестации ПО.

Это часть метрологически значимого ПО ИО не вошедшее в СИ или это ПО ИО как таковое?

Потому что получается как у В.Высоцкого "придешь домой - там ты сидишь". В п 5.1.1 гост 8.568 про аттестацию ПО ИО, а открываешь госты 8.654 и 8.883 а там про аттестацию ПО СИ. Как их применять для аттестации ПО ИО? Только в части  касающейся метрологически не значимого ПО или положения о метрологически значимом ПО применять к ПО значимом для воспроизведения условий испытани, а положения метрологически не значимого ПО к ПО ИО не значимое для воспроведения условий испытаний.

Если следовать логике то делать надо по 2 варианту, но для этого нужны пояснения в гост 8.568. И может быть не в нем одном, а и изменения устанавливающие правила применения гост по аттестации ПО СИ при аттестации другого ПО, в том числе и ПО ИО.

Если  последовать выше приведенным рекомендациям - будет вам счастье с "хайли лайкли" (высокой степенью вероятности).

И вот почему счастье не полное. При аттестация аналоговых устройств специалист мог написать ПМА с помощью которой подтверждение соответствия, во все возможных ситуациях, которые могли возникнуть при эксплуатации, практически 100%,. Это при относительно не больших денежно-временных затратах.

С ПО ситуация иная. Утверждать что то с вероятностью близкой к 100%,  можно только если это "что то" проверено непосредственно. Написать ПМА на ПО сопоставимую с ПМА на аналоговое устройство можно только на относительно простое ПО, с не сопоставимыми финансово-временными затратами.

Поэтому при разработке ПО распространен следующий подход. Разработчик ПО сам его проверяет. Когда у него опускаются руки, он передает ПО на бетта тестирование. По его результатам производится дополнительная правка ПО. После чего составляется лицензионное соглашение в котором прописано что покупатель согласен с тем что он преобретает ПО "как есть" и использует его на свой страх риск (потому что устранить все разнокалиберные ошибки не представляется возможным). Далее на экране пользователя время от времени всплывает сообщение " Произошел сбой. Отправить отчет разработчику?"  То есть в процессе эксплуатации происходит совершенствование ПО. В этой схеме как то совершенно лишней выглядит аттестация ПО.

Это я все к тому, что не все так просто, как представляется, в вопросе аттестации ПО. Если подходить к ней не формально, а с целью получить действительное подтверждение пригодности ПО к применению в рамках рекомендованных гостов.

[starkoe 0]

Спасибо за ответы!

Но остались вопросы по конкретным действиям:

1. Кто должен делать аттестацию ПО? Можно сделать своими силами или обязательно нанимать спец. контору? На предприятии есть метрологическая служба, аттестацию ИО по военному и гражданскому ГОСТ проводим с ними...

2. Все таки по какому ГОСТ проводить аттестацию? 8.654, 8.883 - но у меня же не СИ...

3. Где четкие требования к аттестации ПО(даже в 8.654, 8.883 их нет, там вообще про аттестацию ничего четко не сказано)?

Нужно ли писать отдельную ПМА? Создавать комиссию?

Или это делается в рамках обычной аттестации и добавляется пункт в ПМА стенда?

В новой редакции 8.568, в типовой программе, в раздел "Объем аттестации" добавлено:

- требования по аттестации ПО ИО (при необходимости).

сюда можно все запихнуть или тут просто проверяется ее наличие?

 

[starkoe 0]

Добавлю, что ПО стенда разработано в нашем отделе. ПО ПК стенда работает в среде Windows, кроме того есть ПО плат стенда на контроллерах АТ89s8253(не знаю надо ли про них упоминать). 

[Маслов В.А. 100]

12 часов назад, starkoe сказал:

Спасибо за ответы!

Но остались вопросы по конкретным действиям:

1. Кто должен делать аттестацию ПО? Можно сделать своими силами или обязательно нанимать спец. контору? На предприятии есть метрологическая служба, аттестацию ИО по военному и гражданскому ГОСТ проводим с ними...

2. Все таки по какому ГОСТ проводить аттестацию? 8.654, 8.883 - но у меня же не СИ...

3. Где четкие требования к аттестации ПО(даже в 8.654, 8.883 их нет, там вообще про аттестацию ничего четко не сказано)?

Нужно ли писать отдельную ПМА? Создавать комиссию?

Или это делается в рамках обычной аттестации и добавляется пункт в ПМА стенда?

В новой редакции 8.568, в типовой программе, в раздел "Объем аттестации" добавлено:

- требования по аттестации ПО ИО (при необходимости).

сюда можно все запихнуть или тут просто проверяется ее наличие?

 

1. ГОСТ Р 8.568-2017 не отделяет аттестацию ПО ИО от аттестации ИО, поэтому ее может выполнять как сам заказчик, так и любой исполнитель.

2. ГОСТ Р 8.654 содержит требования, а ГОСТ Р 8.883 - методики (наименование их пунктов почти полностью совпадают), поэтому аттестация ПО по ГОСТ Р 8.568 с применением методов ГОСТ Р 8.883. Что касается того, что ПО не СИ, а ИО, то так решили разработчики ГОСТ Р 8.568-2017. Исходя из этого необходимо рассматривать только ту часть ПО ИО (если ее можно выделить), которая соответствует п. 3.1.10 ГОСТ Р 8.568-2017.

3. Да термин "аттестация ПО" в указанных ГОСТах отсутствует, но он имеется в МИ 2174-91 и МИ 2955-2010 (возможно они Вам помогут разобраться с аттестацией ПО).
С моей точки зрения лучше написать отдельную ПМА  по аттестации ПО, на которую сослаться из основной ПМА по аттестации ИО, но нет и запрета на их включение в состав основной ПМА. Отдельную комиссию создавать нет необходимости, но можно включить в ее состав представителя от разработчиков ПО ИО.

[Влдмир 91]

Начните самого начала. Определитесь для чего вам это нужно. Если аттестуете не поГОСТ РВ, зачит ВП не участвует. Члены предполагаемой комиссии вам известны. Посоветуйтесь с ними. Исходите прежде всего из того что атттестация это прежде всего определение пригодности к эксплуатации. 

17 часов назад, starkoe сказал:

...

1. Кто должен делать аттестацию ПО? Можно сделать своими силами или обязательно нанимать спец. контору? На предприятии есть метрологическая служба, аттестацию ИО по военному и гражданскому ГОСТ проводим с ними...

Вот с ними впервую очередь и проконсультируйтесь. Если грамогная метрологическая служба, свои разработчики ПО, зачем вам спец.контора? Если с вас ни кто не требуют аттестации ПО с участием специально аккредитованой конторы!

Цитата

2. Все таки по какому ГОСТ проводить аттестацию? 8.654, 8.883 - но у меня же не СИ...

3. Где четкие требования к аттестации ПО(даже в 8.654, 8.883 их нет, там вообще про аттестацию ничего четко не сказано)?

На эти вопросы может ответить только ВНИИМС, как разработчик госта. И ни какие МИ вам не помогут.

16 часов назад, starkoe сказал:

 

Цитата

Нужно ли писать отдельную ПМА? Создавать комиссию?

Если у вас таких стендов много, тогда лучше отдельно и ПМА и комиссия. При первичной или повторной аттестации ИО, вызваным изменеиями в ПО, у вас сократится об'ем ненужной работы. Если стенд один лучше включить в общую ПМА на ИО. Соответственно и комиссия одна.

Цитата

Или это делается в рамках обычной аттестации и добавляется пункт в ПМА стенда?

В новой редакции 8.568, в типовой программе, в раздел "Объем аттестации" добавлено:

- требования по аттестации ПО ИО (при необходимости).

сюда можно все запихнуть или тут просто проверяется ее наличие?

Это в зависимости от того как вы решите предыдущий вопрос по оформлениюи ПМА (вместе или по отдельности).

16 часов назад, starkoe сказал:

Добавлю, что ПО стенда разработано в нашем отделе. ПО ПК стенда работает в среде Windows, кроме того есть ПО плат стенда на контроллерах АТ89s8253(не знаю надо ли про них упоминать). 

Не углубляйтесь в дебри. Этого ни кто не поймет и не оценит. Вам все таки придется проводить аттестацию ИО как такового и это будет главная аттестация для всего вашего ПО.

Контрольная сумма, пароль на изменение ПО, проверка на "адекватность"(это типа щелкнули мышкой на кнопку СТОП, в остановленном состоянии-не произойдет пуск?) и тп. Остальное в процессе аттестации самого ИО.

Изменено 28 Января 2019 пользователем Влдмир

[Lavr 517]

9 часов назад, Влдмир сказал:

атттестация это прежде всего определение пригодности к эксплуатации

Это не "прежде всего", а "в последнюю очередь".