Проверка (поверка) программного обеспечения

87 сообщений в этой теме

Рекомендуемые сообщения

Уважаемые модераторы! Прошу прощения если повторяюсь, не нашел аналогичных тем, может где то обсуждалось. В общем вопрос к представителям торговли средствами измерения. Вопрос возник в процессе поверки осциллографов типа TDS2022C, ADS2061M. Согласно п. 5.2.2. МП06/002-12 все осциллографы серии ADS имеющие номер версии ПО отличной от V2.1.X, V1.3.X могут только калиброваться. Согласно п.8.7. МП 48471-11 Осциллографы цифровые TDS 1002С, TDS 1012С, TDS 2014С, TDS 2022С, TDS 2024С фирмы «Tektronix (China) Co.», Ltd КНР осциллографы TDS2001C, TDS2002C, TDS2004C, TDS2004C, TDS2012C, TDS2014C, TDS2022C, TDS2024C c ПО отличным V24.15 rus вообще бракуются, иначе как трактовать "Результаты поверки считать положительным, если идентификационные данные програмного обеспечения соответсвуют:..." получается если не соответсвует - извещение? С первым осциллографом оказалось что версия ПО 2.7.1 - калибровка, со вторым версия ПО V24.09rus - вообще извещение?

Еще один аспект данного вопроса, когда заказчик приносит осциллограф будучи уверенным что он в реестре и он получит свидетесьство о поверке, а вот поверитель утверждает что его нет в реестре...

Позвонил заказчик, купивший осциллограф, одному из московских поставщиков, с претензиями что при продаже поставщик ввел в заблуждение сказав осциллограф включен в реестр СИ , получил ответ "прибор работает - да, метрологические характеристики соответсвуют - да, к нам какие вопросы?"...

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вопрос возник в процессе поверки.....

Ну вот, началось :wacko: , я не знаю, кто и как составлял МП, но внешне похоже на то, что под новый тип пытались занести все ранее выпущенные приборы. Ну а как бы поскольку ранее к ПО требований особых не предъявлялось то и ПО там было то, какое было на момент выпуска. А ПО вообще менять можно хоть каждый день, ну нашел «баг» -исправил, ничего в этом нет, но версия уже другая, не ждать же с этим багом до следующих испытаний. Версия еще пол беды, как производители с контрольными суммами борятся вообще не представляю.

Мое мнение (не метролога) все старые приборы - поверять по старой МП (без индетификации ПО). У вас же явно не все приборы от 2011-12года.Не уверен только насколько это «по закону».

Ну а если прибор выпущен под современную МП, а ПО не соответствут - извещение однозначно. Хотя так рассуждать наверное неправильно, но чем больше будет "разборок" особенно с участием тяжеловесов (к коим я отношу и "тектроникс") тем быстрее те же моменты "утрясутся" и у простых производителей (типа нас).

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

А ПО вообще менять можно хоть каждый день, ну нашел «баг» -исправил, ничего в этом нет, но версия уже другая, не ждать же с этим багом до следующих испытаний.

Так я о том же, например до сих пор тащат на повекру АКИП4113е с прошивкой в которой при определении погрешности переменного электрического напряжения(могу путать с постоянным), упоминаются в МП пределы 60, 600 мВ которых в самом осциллографе нет и в помине. А заказчики тащат новые осциллографы со старыми или наоборот слишком новыми прошивками до сих пор, "баг" присутсвует.

Мое мнение (не метролога) все старые приборы - поверять по старой МП (без индетификации ПО). У вас же явно не все приборы от 2011-12года.Не уверен только насколько это «по закону».

Мое мнение (метролога) поверять СИ именно по той методике которая указана в описании типа на конкретный тип выпущенный в срок дейтсвия описания типа.

Ну а если прибор выпущен под современную МП, а ПО не соответствут - извещение однозначно. Хотя так рассуждать наверное неправильно, но чем больше будет "разборок" особенно с участием тяжеловесов (к коим я отношу и "тектроникс") тем быстрее те же моменты "утрясутся" и у простых производителей (типа нас).

Вот тут я вставлю Ваше "Ну вот, началось :wacko: ". А методику на тектроникс писали специалисты из ГСЦИ СИ ФБУ "ГНМЦ Минобороны России", на ADS ГСЦИ СИ ФБУ "Цсм Московской области" Сергиево-Посадский филиал.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так я о том же, например до сих пор тащат на повекру АКИП4113е с прошивкой в которой при определении погрешности переменного электрического напряжения(могу путать с постоянным), упоминаются в МП пределы 60, 600 мВ которых в самом осциллографе нет и в помине. А заказчики тащат новые осциллографы со старыми или наоборот слишком новыми прошивками до сих пор, "баг" присутсвует.

если у АКИП-4113 нет пределов 60, 600 мВ, то это приборы древнего досертификационного периода, их надо браковать, отправлять в ремонт и делать у них так, что бы пределы 60, 600 мВ (или какие еще отсутствующие) были на месте.

и кстати обращаю внимание, что пределы 60, 600 мВ у АКИП-4113 не выбираются автоматом, их нужно выбирать вручную; может в этом загвоздка?

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Александр Анатольевич, когда принесли очередной АКИП в ручном режиме у меня получилось выставить эти пределы, и тогда я на себя подумал - ну ты даешь, а еще грешил на прошивку, когда принесли осциллограф на котором и в ручном режиме не устанавливались эти пределы я вздохнул с чувством облегчения :rolleyes:

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

принесли осциллограф на котором и в ручном режиме не устанавливались эти пределы я вздохнул с чувством облегчения

однозначно браковать :)

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Разговаривал с одним из руководителей торговой фирмы, он мне поведал что вопрос по версиям прошивок не свеж, представители тектроникса даже какие то меры предпринимают в виде письменных сочинений о том что изменение прошивки не повлияло на МХ осцилографов, думаю их письмо останется на уровне бумажки без каких либо резолюций со стороны органов утверждавших тип, а возможно и без изменений в описании типа. А вот с АКТАКОМ ... попытался найти "прошивку утвержденного типа", зарегистрировался на сайте, хотел скачать прошивку... так там мне система регистрации продукта заявила что осциллографа АКТАКОМ(ADS2061M) с таким серийным номером вообще не существует...

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Разговаривал с одним из руководителей торговой фирмы, он мне поведал что вопрос по версиям прошивок не свеж, представители тектроникса даже какие то меры предпринимают в виде письменных сочинений о том что изменение прошивки не повлияло на МХ осцилографов....

Вот интересно, а сами "тектрониксы" (а не их российские представители) в курсе, что менять ПО после уверждения типа как бы и нельзя уже по новым правилам. Наверное так и работают "по старинке" :biggrin:

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще посмеемся? Так, что такое уровень защиты ПО от преднамеренных и не преднамеренных изменений в соответствии с МИ 3286-2010 - "А", а что такое - оценка влияния ПО на МХ СИ в соответствии с МИ 3286-2010? То есть (я не спец по ПО могу ошибаться), так вот согласно МП которое выше упоминал я, по п.8.7. я должен сделать именно это, я должен работать с исходной программой, не компилированной, буду требовать с заказчика исходную программу? А кто проводил испытания ПО по этим МИ, и сколько это стоит?

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще посмеемся? Так, что такое уровень защиты ПО от преднамеренных и не преднамеренных изменений в соответствии с МИ 3286-2010 - "А", а что такое - оценка влияния ПО на МХ СИ в соответствии с МИ 3286-2010? То есть (я не спец по ПО могу ошибаться), так вот согласно МП которое выше упоминал я, по п.8.7. я должен сделать именно это, я должен работать с исходной программой, не компилированной, буду требовать с заказчика исходную программу? А кто проводил испытания ПО по этим МИ, и сколько это стоит?

Испытания ПО проводится при утверждении типа (в обяз). Стоит по-разному, ориентировочно половина стоимости испытаний. Добровольно проводить испытания ИМХО верх извращения.

В части исходного кода, тут как бы с одной стороны понятно, что он нужен, ибо проверка ПО без этого превращается в фикцию, но с другой стороны тоже понятно, что никто его не даст, да и разбираться в нем некому. Такая вот метрологическая загогулина :thinking: .

Более того, у большинства производителей ПО прибора защищено, и скачать его при поверке невозможно, что вы там при этом поверяете одному богу известно.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мы там ничего не поверяем :mellow: Мы удивляемся что в МП есть такой пункт поверки :thinking: Мы советуемся с Вами, возможно ли выполнять вышеизложенное при периодической поверке. Если да, то как, если нет то какого... этот пункт запихнули в МП :'(

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

В части исходного кода, тут как бы с одной стороны понятно, что он нужен, ибо проверка ПО без этого превращается в фикцию, но с другой стороны тоже понятно, что никто его не даст, да и разбираться в нем некому. Такая вот метрологическая загогулина :thinking:/> .

А почему Вы считаете, что принцип "черного ящика" нельзя применять при проверке ПО?

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще посмеемся? Так, что такое уровень защиты ПО от преднамеренных и не преднамеренных изменений в соответствии с МИ 3286-2010 - "А", а что такое - оценка влияния ПО на МХ СИ в соответствии с МИ 3286-2010? То есть (я не спец по ПО могу ошибаться), так вот согласно МП которое выше упоминал я, по п.8.7. я должен сделать именно это, я должен работать с исходной программой, не компилированной, буду требовать с заказчика исходную программу? А кто проводил испытания ПО по этим МИ, и сколько это стоит?

Постараюсь ответить на вопросы о ПО СИ, как Испытатель, работающий по МИ 3286-2010 и Р 50.2.077-2011 в процессе испытаний в целях утверждения типа СИ.

1. Проверки ПО СИ при его испытаниях в целях утверждения типа и при поверке различаются, т.к. выполняются по разным нормативным документам.

При испытаниях она проводится по МИ 3286-2010 и Р 50.2.077-2011 и ее объем зависит от предполагаемой области применения СИ (риска изменения ПО) и состава самого ПО.

При поверке выполняется только контроль на соответствие идентификационных данных ПО, установленного на СИ, тем, которые внесены в описание типа. И выполняется эта проверка по соответствующему разделу методики поверки (не требуется использовать МИ 3286-2010 и Р 50.2.077-2011). При этом не требуется проверять присвоенный уровень защиты ПО и проводить его анализ, тем более исходного кода. Для обеспечения возможности устранения "багов" в ПО в описание типа вносится, как правило, не полная запись о версии ПО, а только его основная (начальная часть), остальную часть, которая характеризует незначительные изменения, не влияющие на метрологические характеристики СИ, можно изменять при внесении изменений в ПО. Для этих же целей может служить разделение ПО на метрологически значимую и незначимую части (обычно выполняется для ПО при наличии операционной системы).

2. Уровень защиты "А" по МИ 3286-2010 - защита не требуется. Обычно это означает, что заменить ПО СИ невозможно без вскрытия его корпуса и применения специального оборудования для перезаписи ПО. Обычно у таких СИ отсутствует какой-либо двунаправленный цифровой интерфейс (например, RS232, USB).

3. Оценка влияния ПО на МХ СИ проводится при наличии сложных алгоритмов расчета результатов измерений, когда невозможно от эталонов получить все возможные варианты входных сигналов. Тогда проводится проверка алгоритмов на формируемых цифровых сигналах и сравнении результатов расчета алгоритма ПО и выполненного другим способом, например, в Excel или Маткаде.

4. Анализ исходного кода ПО проводится для случаев, когда вероятность его преднамеренного изменения достаточно велика. Например, учет нефтепродуктов, тепла, спиртосодержащей продукции. Анализ должен выполняться высококвалифицированными программистами в основном на наличие закладок для несанкционированного доступа к ПО с целью изменения его или результатов измерений. Разработчик СИ в этом случае должен предоставить исходный код, иначе СИ не будет утвержден как тип.

5. Испытания ПО СИ обычно производится в процессе испытаний СИ в целях утверждения типа. Стоимость этой части испытаний зависит от сочетания программно-аппаратной частей СИ, сложности функций, реализуемых ПО, состава ПО и может составлять от 20-30 % до 100 и более % стоимости испытаний СИ без ПО.

  • Like 1

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мы там ничего не поверяем :mellow:/>/> Мы удивляемся что в МП есть такой пункт поверки :thinking:/>/> Мы советуемся с Вами, возможно ли выполнять вышеизложенное при периодической поверке. Если да, то как, если нет то какого... этот пункт запихнули в МП :'(/>/>

И вот подошли к практическому осуществлению вопросов, обсуждение котрых закончилось Вопросы по МИ 3290-2010 и МИ 3286-2010

Последнее сообщение 06 Июнь 2011 - 19:23

Касалось это проверки ПО при утверждении типа.

А почему Вы считаете, что принцип "черного ящика" нельзя применять при проверке ПО?

"Наши умные" люди сказали что нельзя....хотя и не одназначно...

Записали обязательное разделение ПО на метрологически значимое (которое после утверждения править нельзя) и

метрологически не значимое ( правь склько угодно!)

Должны быть записаны контрольные суммы, и номера версий ПО утвержденных при испытаниях.

Это должно отображаться на экране дисплея прибора, либо при подключении внешнего ПК на его мониторе при определенном

действии пОверителя.

ВСЁ!

ПОВЕРИТЕЛЬ в этой части ничего больше не делает - только сравнить контрольные суммы и ногмер версии.

Совпало? Работаем дальше...

Не совпало? Бракуем!

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

А почему Вы считаете, что принцип "черного ящика" нельзя применять при проверке ПО?

Не очень понятно, что имеется в виду под черным ящиком, они бывают разные :yes-yes: .

Но как бы правильно, в любом случае, ПО из черного ящика чем-то скачать, и потом идентифицировать. Если для «скачки или идентификации» вы используете софт производителя, то вы попадаете в замкнутый круг ибо такой софт нужно тоже проверить что он там скачивает на самом деле, ну и так далее до верификации счетными палочками как уже предлагалась не раз. Взломать ПО крайне проблематично, хотя теоретически возможно, но к поверке прибора эта процедура отношения не имеет. Идентификация внешнего ПО проще пусть даже на уровне исполняемого файла, но опять же, чем верифицировать, любой программой по расчету контрольной суммы коих в интернете полно, а их кто будет проверять?

2 Ufametrolog Отнестись ли формально (как указано в МП) или с пониманием - решать вам.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Владимир Алексеевич, очень содержательно, спасибо. Просьба к Вам, прокомментируйте пожалуйста как специалист пункт МП приведенный на рисунке:

post-99-0-98951000-1354860427_thumb.jpg

  • Like 1

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Дмитрий Борисович спасибо за ссылку... Так что делать обывателю, простому поверителю, когда он сталкивается с МП где требуется проводить работы по вышеупомянутым МИ.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пункт 8.7.2 - ПОЛНЫЙ БРЕД для пОверителя! :girlcray:

И соответственно п.8.7.3 должен быть изменен!

Только проверка контрольных сумм!

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ufametrolog Отнестись ли формально (как указано в МП) или с пониманием - решать вам.

Во мне живет метролог, он говорит следуй МП :rtfm: , специалист во мне говорит - бред все это :wacko: , простой обыватель - отнесись с пониманием :wink: ...

  • Like 1

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Владимир Алексеевич, очень содержательно, спасибо. Просьба к Вам, прокомментируйте пожалуйста как специалист пункт МП приведенный на рисунке:

Ну, что можно сказать: "Это круто". wacko.gif

Могу только посоветовать обратиться к разработчику МП за разъяснениями каким образом (последовательность действий) поверителю:

1. получить указанную информацию об идентификационных данных ПО,

2. установить уровень защиты ПО,

3. осуществить оценку влияния ПО на метрологические характеристики.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

А почему Вы считаете, что принцип "черного ящика" нельзя применять при проверке ПО?

Не очень понятно, что имеется в виду под черным ящиком, они бывают разные :yes-yes:/> .

Подаем на вход ЧЯ испытательный сигнал и анализируем значение на выходе.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подаем на вход ЧЯ испытательный сигнал и анализируем значение на выходе.

Ну вы получите МХ, а при чем здесь ПО? Я могу например сказать что в ЧЯ есть блок Wifi через который пользователь "крутит" МХ как хочет, а перед сдачей прибора на поверку просто нажимает кнопочку "сбросить все настройки" :laugh:

  • Like 1

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подаем на вход ЧЯ испытательный сигнал и анализируем значение на выходе.

Ну вы получите МХ, а при чем здесь ПО? Я могу например сказать что в ЧЯ есть блок Wifi через который пользователь "крутит" МХ как хочет, а перед сдачей прибора на поверку просто нажимает кнопочку "сбросить все настройки" :laugh:/>/>

Я не специалист в области аттестации ПО, но знаю, что например в США при проверке ПО игровых автоматов, НИСТ требует исходный код и раскладывает всю программу. А в Германии ПО игровых автоматов тестируют по способу черного ящика. Этот же принцип применялся и в России. На стенде играли в реальном времени около 300 тыс. игр. А затем математическая обработка статистики с определением необходимых критериев. Есть и контрольная цифра. Ну а если изготовитель захочет вставить шпионскую штучку, что помешает ему на испытания предоставить одно, а в серию другое. Но оно ему надо?

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Могу только посоветовать обратиться к разработчику МП за разъяснениями каким образом (последовательность действий) поверителю:...

Однажды я уже обращался, правда по поводу другого типа СИ, в тот же метрологический орган, к сожалению я не смог получить внятных ответов, и мне не понятно было то ли он не знал что ответить то ли автор МП просто не хотел что то объяснять провинциальному поверителю.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Испытания ПО проводится при утверждении типа (в обяз). Стоит по-разному, ориентировочно половина стоимости испытаний.

Я провожу сертификацию ПО отдельно (в другой организации), испытатели (32) её признают. Стоимость 1/3 от стоимости испытаний. Сам сертификат можно использовать и в других целях.

Поделиться этим сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или авторизуйтесь, чтобы оставить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

Создать аккаунт

Зарегистрировать новый аккаунт.

Регистрация

Войти

Есть аккаунт? Войти.

Войти

  • Недавно просматривали   0 пользователей

    Ни один зарегистрированный пользователь не просматривает эту страницу.