Метрологическая экспертиза ПО

[Jewel 0]

Доброго времени суток, уважаемые коллеги и не коллеги.

Возник вопрос, у нас есть изделие (образец ВТ) и на нем стоит ПО, которое так же как и сам образец разрабатываемп мы сами. ВП прикопалась , что им нужно заключение О ВЫПОЛНЕНИИ ТРЕБОВАНИЙ, УКАЗАННЫХ В НТД, ПО ОБЕСПЕЧЕНИЮ ЕДИНСТВА ИЗМЕРЕНИЙ И МЕТРОЛОГИЧЕСКОМУ ОБЕСПЕЧЕНИЮ или что -то в этом роде на наше ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ! а там одни руководства оператора и файлы! Как доказать ВП, что они не правы и обосновать это? ПО ведь не является образцом ВТ? Если же Вы считаете,что ВП вправе требовать такое заключение на ПО, то по каким НД мне проводить МЭ программы?? На нее же нет КД и ТД, на нее идет ПД!И поэтому нет четкого определения какие документы должны мне принести на экспертизу.

[east 210]

Что такое ВТ, ВП и ПД?

[Elyssia 79]

Бодрые цифровые стихи

2 15 42

42 15

37 08 5

20 20 20

38 46

0 4 20

7 08 33

20 20 20

45 108 2

47 16

3 4 502

20 20 20

7 14 100 0

0 0 0 13

37 08 5

20 20 20!

Если серьезно, то ВТ - военная техник, ВП - военное представительство, ПД - программная документация.

Мое мнение - если ваше ВТ работает только под управлением вашего же ПО и иначе не работает, МЭ проводить придется. За ориентир возьмите ГОСТ Р 8.596-2002. Проверьте описание алгоритмов, посмотрите, нет ли потенциальных ошибок в обработке данных из-за алгоритма расчета и порядка набора данных. Проверьте, что описания ПО в документации достаточно, для работы с ним и выполнения восстановительных операций.

Изменено 14 Октября 2015 пользователем Elyssia

[Маслов В.А. 100]

Доброго времени суток, уважаемые коллеги и не коллеги.

Возник вопрос, у нас есть изделие (образец ВТ) и на нем стоит ПО, которое так же как и сам образец разрабатываемп мы сами. ВП прикопалась , что им нужно заключение О ВЫПОЛНЕНИИ ТРЕБОВАНИЙ, УКАЗАННЫХ В НТД, ПО ОБЕСПЕЧЕНИЮ ЕДИНСТВА ИЗМЕРЕНИЙ И МЕТРОЛОГИЧЕСКОМУ ОБЕСПЕЧЕНИЮ или что -то в этом роде на наше ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ! а там одни руководства оператора и файлы! Как доказать ВП, что они не правы и обосновать это? ПО ведь не является образцом ВТ? Если же Вы считаете,что ВП вправе требовать такое заключение на ПО, то по каким НД мне проводить МЭ программы?? На нее же нет КД и ТД, на нее идет ПД!И поэтому нет четкого определения какие документы должны мне принести на экспертизу.

В настоящее время существует ряд нормативных документов, которые распространяются на программное обеспечение средств измерений:

1. ГОСТ Р 8.654-2009 ГСИ. Требования к программному обеспечению средств измерений. Основные положения. Данный стандарт с 01.03.2016г будет заменен на ГОСТ Р 8.654-2015.

2. ГОСТ Р 8.839-2013 ГСИ. Общие требования к измерительным приборам с программным управлением. Действует с 01.01.2015 г.

3. Р 50.2.077-2014 ГСИ. Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения. Действует с 01.10.2014 г.

Указанные документы не определяют перечень необходимых документов, а только указывают какая информация должна быть в них отражена и способы проверки.

Имеется еще система ЕСПД ГОСТы 19.ХХХ, но она существенно устарела.

Так же с 01.03.2016 г. вводится в действие ГОСТ Р 8.883-2015 ГСИ. Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытания.

[Дмитрий Борисович 1 013]

В настоящее время существует ряд нормативных документов, которые распространяются на программное обеспечение средств измерений:

1. ГОСТ Р 8.654-2009 ГСИ. Требования к программному обеспечению средств измерений. Основные положения. Данный стандарт с 01.03.2016г будет заменен на ГОСТ Р 8.654-2015.

2. ГОСТ Р 8.839-2013 ГСИ. Общие требования к измерительным приборам с программным управлением. Действует с 01.01.2015 г.

3. Р 50.2.077-2014 ГСИ. Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения.

Да! Такие документы существуют.

Покажите мене хотя бы трех представителей ГЦИ СИ которые провели работы в соответствии с этими ГОСТами????

Требования этих ГОСТов пытаются ( встав иногда на ущи..) выполнить разработчики.

А при проведении испытаний для утверждения типа....ВСЕ формулировки по степени защиты и разделения ПО на части дает сам разработчик! Испытатель только "переписывает" эту формулировку!!!!

Давайте снимем "розовые очки"! И здраво посмотрим на жизнь! Предоставив испытателю ВСЕ алгоритмы с подробными комментариями и коды - испытатель не сможет сделать НИЧЕГО в плане проверки ПО!!!!

Проверка может быть в этом случае только одна если это СИ:

- к СИ относимся как к "черному ящику".

- подал на вход определенный сигнал, получил "ответ", обработал погрешности!

ПО ведь не является образцом ВТ? Если же Вы считаете,что ВП вправе требовать такое заключение на ПО, то по каким НД мне проводить МЭ программы?? На нее же нет КД и ТД, на нее идет ПД!И поэтому нет четкого определения какие документы должны мне принести на экспертизу.

Заказчик всегда прав! И может требовать от Вас всё что угодно! СОГЛАСОВАНО!!!

Это Ваши с ним договорные отношения!

Но вот чего я НЕ понимаю. ВАШЕ изделие...ВАШЕ программное обеспечение для него...Изделие проходит испытания :

- или приемочные по итогам НИОКР

- или утверждения типа СИ

- выполняются требования ТЗ

Какие вопросы могут быть у Заказчика по ПО????

Ну принесут Вам полностью все алгоритмы....коды ПО...ЧТО Вы будете делать с этим????

Только от "балды" совместно с разработчиком писать какую-то "белиберду" общими словами о выполнении требований!

Все покажут свою работу!!!

Как пример в конце 80-х передавали на завод Фрунзе документацию на производство измерительной системы.

Заказчик перед этим провел испытания...их всё удовлетворяло. На испытаниях присутствовали и иредставители Гостандарта.

Тоже всё удовлетворяло.

Но завод не хотел брать систему в производство. И уперся! Предоставьте все документы на ПО в соответствии с ЕСКД.

Хотя для производства для них был передан специальный стенд для прошивки ПО на 573РФ5. А также имелись дубли на магнитных носителях ( и не в одном экземпляре!). Дайте на бумажном носителе с полными комментариями!

Ну что делать....Конечно алгоритмы с полными комментриями предоставить не возможно...Но краткие предоставили...Три месяца работы дополнительной....Вот с кодами оказалось сложнее. На то время объем 128К - ОГРОМНЫЙ объем!!!Да еще в кодах! Срочно через министерство заказали скоростной принтер. Формат А4 - 3 сек.!!! Предоставили заводу документ - ПО распечатка кодов! Общий объем 50см высотой формата А4. Передали заводу...Они этот документ сразу в архив. За последующие 5лет этот документ НИКТО НИ разу не поднимал!!!

Но формально ВСЕ были довольны...А у завода был "выбит" аргумент против запуска системы в производство.

[east 210]

По сертификации ПО, а также проверке защиты ПО были представлены хорошие доклады Паньковым А.Н. (ВНИИМС, Москва) на 9 метрологической конференции по ИС в Пензе: http://www.penzacsm.ru/node/445

[Дмитрий Борисович 1 013]

По сертификации ПО, а также проверке защиты ПО были представлены хорошие доклады Паньковым А.Н. (ВНИИМС, Москва) на 9 метрологической конференции по ИС в Пензе: http://www.penzacsm.ru/node/445

А что хорошего Вы обнаружили в докладах???

Конечно и несомненно они имеют некоторую актуальность!

Но давайте не путать некоторые понятия.

Есть ПО которое в СИ осуществляет обработку и выделение измерительной информации и преобразование её в удобную форму для дальнейшего восприятия или обработки.

И есть часть аппаратно- программных средств предназначенных для передачи этих данных по каналам связи и управления.

По этим каналам также может быть осуществлено внешнее/дистанционное управление СИ.

Что в докладе излагается?

1. Есть ПО и его декларируем что - "Всё исполнено и защищено!"

2. И есть часть доклада посвященная разработке опорных ПП для проверки на соответствие МЭК 61850.

И что?

Да НИЧЕГО! Нового!!!

1. Были раньше СИ со встроенными микропроцессорами (СК3-45, ДК1-17, Г4-164, Г4-176) и в них было ПО.

Испытания проводились как для "черного ящика" по метрологии.

2.Но все они имели канал управления КОП (МЭК 625, IEEE-488....)

И проводилось при испытаниях тестирование взаимодействия по этому каналу связи...С помощью анализаторов 814, 821,825...

Моя ссылка

Моя ссылка

Иногда в методики поверки закладывали пункт по проверке этого взаимодействия.

Но мало какая служба проводила этот пункт.

И кроме того выполнение этого теста - НИЧЕГО НЕ ГАРАНТИРОВАЛА! Ни правильного функционирования в системе....ни того что встроенное ПО нельзя изменить!

Времена меняются...меняются каналы связи и управления...Поэтому тестирование на взаимодействие по этим каналам связи будет всегда актуально!

Но это НЕ есть тестирование ПО на защищенность от санкционированного и или несанкционированного доступа!

Это НЕ есть проверка правильности ПО!!!

1."Разделение ПО на метрологически значимую часть и не значимую часть"

Всё ПО "прошито" в памяти контроллера. Например 8К памяти. Вы можете просмотрев исходный код определить КАК они разделены?

2."Проверка реализованных способов идентификации" Т.е. проверить то что разработчик СИ написал - включить...получить контрольную сумму...??? Ну допустим....

3.Но следующим пунктом в докладе - "Проверка достаточности"!!!! А это то как испытатель будет проводить????

4."Защита от преднамеренных изменений" или "Защита режимов калибровки".

Ну сколько можно об этом говорить????

Ну не сможет НИ ОДИН испытатель этого выявить!!!

Я могу войти в специальный режим коррекции коэффициентов например нажав одновременно определенную комбинацию клавиш.

Но Вы как испытатель НИКОГДА этого не обнаружите!!!!

И так можно практически до бесконечности говорить об испытаниях ПО.....

[kot1967 184]

И так можно практически до бесконечности говорить об испытаниях ПО.....

Дмитрий Борисович, ну что вы генерируете . Все уже давно сказано.

На данном этапе метрологи "ответственные за ПО" разделились на тех, кто понимает идиотизм ситуации и старается минимизировать возможные "потери" при вписывании реального ПО прибора в современные метрологическо-оформительские требования и тех кто этого не понимает и продолжает вписывать в НД бред, ну или скажет так данные о ПО противоречащие устройству, работе и предназначению прибора. Что-то может изменится только если вторая когорта "специалистов по ПО" исчезнет, и произойдет это только в том случае, если за любой "бред" кто-то будет отвечать, пока этого нет, ничего не изменится.

[Jewel 0]

Всем спасибо за ответы, но проблема в том что указанные ГОСТы распространяются на ПО именно к СИ, а у нас ПО для других изделий, которые к СИ вообще не относятся.Средствами измерений там вообще не пахнет никакими, и даже алгоритмов измерения в ПО нет.В тоге я им написала заключение о том, что в ПО отсутствуют сведения об измерениях и измерительном контроле, и значит проверка на соответсвие требований НД по метрологи не нужна.Но мне показалось их это не очень устроило.

[opz166 0]

указанные ГОСТы распространяются на ПО именно к СИ, а у нас ПО для других изделий, которые к СИ вообще не относятся.

Подход, по-моему, правильный. Аттестации подлежит только автономное ПО самостоятельной реализации. В Вашем случае нужно провести МЭ программы и методики испытаний (если она разрабатывалась) на ПО.

[kot1967 184]

указанные ГОСТы распространяются на ПО именно к СИ, а у нас ПО для других изделий, которые к СИ вообще не относятся.

Подход, по-моему, правильный. Аттестации подлежит только автономное ПО самостоятельной реализации. В Вашем случае нужно провести МЭ программы и методики испытаний (если она разрабатывалась) на ПО.

Что значит только "автономное ПО самостоятельной реализации"? Это что за зверь такой?

Или вы про метрологически значимое и не значимое ПО? Если про это, то на сегодня метрологически не значимое ПО тоже подлежит аттестации.

2 ТС. Ну что сказать, были прецеденты когда проверяющие на полном серьезе пытались "Ексель" аттестовывать. Нужно договариваться, искать подходы, пока так.....