Испытание программного обеспечения

[Дмитрий Борисович 1 013]

ОПРЕДЕЛЯЕТ/ОБЕСПЕЧИВАЕТ/ПОДДЕРЖИВАЕТ, но на погрешность результата измерения существенного влияния не оказывает. Т.е. вносит неопределенность, например, порядка 10^(-7) при неопределенности результата измерения 10^(-5).

У нас разный подход к понятию ПО и его назначению.

Судя по этому посланию, для Вас ПО - "калькулятор". Но тогда для чего его тестировать и выяснять степень влияния...

Метрологи отказались от идеи пОверки бухгалтерских калькуляторов еще в середине 80-х годов прошлого века...

[Дмитрий Борисович 1 013]

Руководителю проекта и заказчику, который платит деньги не только за реализацию алгоритма, но и его соответствие требованиям ФЗ-102 и ГОСТ-654

А теперь ответьте - руководителю проекта или главному инженеру было в ТЗ на разработку СИ требование применения ПО???

Наверное в ТЗ указаны только МЕТРОЛОГИЧЕСКИЕ и иные технические характеристики.

А как будет это достигнуто... дело руководителя проекта.

Поэтому для чего ему или программисту перед ним отчитываться какими то алгоритмами и исходными кодами???

ПАРАМЕТРЫ давай!

ПО не самоцель в СИ - а средство получения стабильных параметров и новых сервисных возможностей.

Пы.Сы.

Пожалуйста пишите ГОСТы с некоторыми пояснениями названий....

- ГОСТ 654-52 Поршни тракторных двигателей. Технические условия

- ГОСТ 654-59 ПОРШНИ ТРАКТОРНЫХ И КОМБАЙНОВЫХ ДВИГАТЕЛЕЙ. ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ

- ГОСТ 654-75 ДИЗЕЛИ ТРАКТОРНЫЕ И КОМБАЙНОВЫЕ. ПОРШНИ. ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ

- ГОСТ 654-81 Поршни тракторных и комбайновых дизелей. Общие технические условия

Так каким требованиям нужно соответствовать ???

[Дмитрий Борисович 1 013]

У военных поэтому и предусмотрена метрологическая экспертиза на стадии исследования, обоснования и разработки. Только так получается, что производитель должен заранее знать, что его СИ будет использоваться в ВВТ. И опять же вопрос открытым остается, кто должен проводить метрологическую экспертизу на этих этапах?

Тема о ПО!

Плавно перешли к экспертизе....

А чего Вы на стадии исследований и обоснования выбора вообще принципа построения будущего СИ будете "экспертизировать"???

А самое главное у кого??? Программиста на этом этапе еще нет... Да и многие не знают что за тип процессора будет выбран.

Его выбор - это целая наука с расчетами скорости, объема памяти, интерфейсов...

Пы.Сы.

Меня многие ругают за одну ссылку. Особенно сейчас молодые программисты....

Но прочтите в сети один маленький расказик - "История одного байта".

[Лабинцев А.И. 17]

(Шутка советских времен, после какого нибудь НТС или очередной коллегии министерства..) :yes-yes:/>/>

Шутки шутками, а обидно когда талантливые ребята уезжают за границу, потому что там другое отношение и другая оплата интеллектуального труда. Но это уже

[Лабинцев А.И. 17]

Пожалуйста пишите ГОСТы с некоторыми пояснениями названий....

- ГОСТ 654-52 Поршни тракторных двигателей. Технические условия

- ГОСТ 654-59 ПОРШНИ ТРАКТОРНЫХ И КОМБАЙНОВЫХ ДВИГАТЕЛЕЙ. ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ

- ГОСТ 654-75 ДИЗЕЛИ ТРАКТОРНЫЕ И КОМБАЙНОВЫЕ. ПОРШНИ. ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ

- ГОСТ 654-81 Поршни тракторных и комбайновых дизелей. Общие технические условия

Так каким требованиям нужно соответствовать ???

Дмитрий Борисович, не подкалывайте пожалуйста Я надеюсь, что Вы читали хотя бы поверхностно ГОСТ 8.654-2015 ГСИ. Требования к программному обеспечению средств измерений. Основные положения.

[Лабинцев А.И. 17]

У нас разный подход к понятию ПО и его назначению.

Судя по этому посланию, для Вас ПО - "калькулятор". Но тогда для чего его тестировать и выяснять степень влияния...

Метрологи отказались от идеи пОверки бухгалтерских калькуляторов еще в середине 80-х годов прошлого века...

Да, тут Вы правы. Тема моего исследования в большей степени относится к системам передачи, обработки и визуализации измерительной информации на ПО типа U. Однако и сейчас с АИИС КУЭ мы имеем ситуацию, похожую на поверку бухгалтерских калькуляторов.

[Лабинцев А.И. 17]

Тема о ПО!

Плавно перешли к экспертизе....

А чего Вы на стадии исследований и обоснования выбора вообще принципа построения будущего СИ будете "экспертизировать"???

А самое главное у кого??? Программиста на этом этапе еще нет... Да и многие не знают что за тип процессора будет выбран.

Его выбор - это целая наука с расчетами скорости, объема памяти, интерфейсов...

Вот вот! Важно сразу учесть все требования, чтобы потом не пришлось переписывать проект с нуля из-за нехороших метрологов с их требованиями к ПО!

[Лабинцев А.И. 17]

Меня многие ругают за одну ссылку. Особенно сейчас молодые программисты....

Но прочтите в сети один маленький расказик - "История одного байта".

Да уж, наболело у человека. В недалеком 2007 году был у меня небольшой опыт работы с контроллерами. http://ikarab.narod.ru/index.html Изучил курс, написал программку для управления трехфазным двигателем. В итоге это никому не было нужно. Сейчас потихоньку осваиваю Кнута "Искусство программирования". Не думаю, что на практике пригодится, но для системного видения проблем очень полезно. А нужно ли было так страдать автору истории? Да, я понимаю что программист - человек творческий. Но тому кто платит деньги не нужны его переживания на 10 листах. Ему нужен надежный результат и в срок. А если заказчик сам что то проморгал, то это больше ему самому переживать нужно.

[Дмитрий Борисович 1 013]

Шутки шутками, а обидно когда талантливые ребята уезжают за границу, потому что там другое отношение и другая оплата интеллектуального труда.

1. "Кормить надо, тогда и не улетят." Сказал Николай II ,в рекламном ролике банка "Империал" (середина 90-х годов прошлого века...).

Правда про лебедей на пруду.....

2. И еще из советских времен.Про секретность....

- третья форма допуска. Когда не знаешь что делает соседнее через забор предприятие.

- вторая форма допуска. Когда не знаешь что делает сосед по лаборатории.

- первая форма допуска. Когда не знаешь сам чего делаешь....

3. Кстати по конфиденциальности.

Асандж...Сноуден...это то что сейчас на слуху... список можете продолжить и с другой и с третьей стороны. Они то же давали различного рода подписки о не разглашении.... Но промышленный шпионаж никто не отменял...

А Вы сразу об исходном коде....

Исходный открытый код нужен только тогда когда разработчик ПО разрешает всем последующим пользователям самостоятельно править/переделывать ПО под себя, под свои нужды.

Изменено 16 Октября 2016 пользователем Дмитрий Борисович

[Дмитрий Борисович 1 013]

Дмитрий Борисович, не подкалывайте пожалуйста Я надеюсь, что Вы читали хотя бы поверхностно ГОСТ 8.654-2015 ГСИ. Требования к программному обеспечению средств измерений. Основные положения.

Какие могут быть подколки?

Ярщайший пример Вашей специализации - передача и прием информации.И визуализациии.

При передачи номера ГОСТа произошла потеря нескольких байт информации.

Я воспринял ее искаженную. Вопросы... ЧТО это:

- преднамеренное искажение

- не преднамеренно искажение.

- влияние ПО интернета или движка форума на отображение результата.

И почему сразу - "хотя бы поверхностно"?

Любой кто занимался или занимается автоматизированными измерительными системами прошел хоть раз через подобные ГОСТы.

А вот теперь Обратите внимание что в этом документе про "оценку влияния ПО на метрологические характеристики" только пять строчек (п.4.5) ....

Да и то с формулировкой - при необходимости!!!

[Дмитрий Борисович 1 013]

Вот вот! Важно сразу учесть все требования, чтобы потом не пришлось переписывать проект с нуля из-за нехороших метрологов с их требованиями к ПО!

А причем здесь метрологи???

Все и сразу - не бывает!

Основной потребитель это Заказчик, у которого аппетит разыгрывается ..... А порою сам не знает до конца чего хочет....

Об этом как раз те история с одним байтом в те далекие годы.

Если бы Вы обратили внимание на одну особенность той истории - микропроцессор был выбран с ЗАПАСОМ , с учетом того что по результатам испытаний могут возникнуть доработки и пожелания Заказчика.

Да, многие фрилансеры сейчас поступают по другому. Например для мигания светодиодами и управлением шаговым двигателем берут сразу STM32. А что? Дешево.

Т.е решают задачу по принципу - из пушки по воробьям!

А вдруг Заказчику понадобиться чего то еще....

[Дмитрий Борисович 1 013]

Рано или поздно Вы должны дать для себя ответ - Чем занимаетесь?

- тестированием ПО

- проверкой на защищенность от внешнего воздействия

- оценкой влияния ПО на метрологические характеристики

- метрологической аттестацией ПО

[Лабинцев А.И. 17]

Рано или поздно Вы должны дать для себя ответ - Чем занимаетесь?

Оценкой погрешности виртуальных приборов в измерительной среде LabView. Проблема в том, что на практике с аттестацией ПО и ИС я никогда не сталкивался, занимался только поверкой СИ. Если я правильно понял, в процессе испытания и аттестации ПО одна из операций аттестации - оценка влияния ПО на МХ. При этом ограничиваются определением порядка неопределенности, вносимой ПО в результат измерения. Соответственно делается вывод, влияет ПО или не влияет? В Welmec 7.2 все очень хорошо расписано, но как оно на практике?

[Лабинцев А.И. 17]

Какие могут быть подколки?

Ярщайший пример Вашей специализации - передача и прием информации.И визуализациии.

При передачи номера ГОСТа произошла потеря нескольких байт информации.

Я воспринял ее искаженную. Вопросы... ЧТО это:

- преднамеренное искажение

- не преднамеренно искажение.

- влияние ПО интернета или движка форума на отображение результата.

Определенно не преднамеренное искажение

[Лабинцев А.И. 17]

Да, многие фрилансеры сейчас поступают по другому. Например для мигания светодиодами и управлением шаговым двигателем берут сразу STM32. А что? Дешево.

Т.е решают задачу по принципу - из пушки по воробьям!

А вдруг Заказчику понадобиться чего то еще....

Опять же, сокращается время разработки за счет хорошо знакомой и отработанной платформы. Если тираж небольшой, почему бы и нет.

[Дмитрий Борисович 1 013]

Да, многие фрилансеры сейчас поступают по другому. Например для мигания светодиодами и управлением шаговым двигателем берут сразу STM32. А что? Дешево.

Т.е решают задачу по принципу - из пушки по воробьям!

А вдруг Заказчику понадобиться чего то еще....

Опять же, сокращается время разработки за счет хорошо знакомой и отработанной платформы. Если тираж небольшой, почему бы и нет.

Угу!

Вот только б эти платформы производились а России....

[Дмитрий Борисович 1 013]

Оценкой погрешности виртуальных приборов в измерительной среде LabView.

Помните с чего начался разговор? Всех военных под одну гребенку.....

1. "Оценка погрешности". А что это такое?

Погрешность можно определить ... и сравнить с допуском (нормированной погрешностью)... признать годность СИ к эксплуатации...

ОЦЕНИТЬ можно неопределенность измерения.

Вы постоянно эти понятия путаете....

2. Недостаток системы LabView - полностью ЗАКРЫТЫЙ ИСХОДНЫЙ КОД!

Но посмотрите сколько внесено СИ под этой системой в реестр...

И испытания для утверждения типа проводил 32 ГЦНИИ.

Им что предоставили исходный код??? Конфиденциально???

3.Виртуальные приборы. Красиво звучит. Многих,когда в 1986 году, услышали это название - оно зачаровало. Одним из НИИ Министерства промышленности средств связи был подготовлен научный обзор по виртуальным измерительным приборам.

И этот материал мы должны были обсудить на научно техническом совете.

После лекции пригляделись...оказывается мы 6 лет как уже разрабатываем и производим виртуальные приборы. "Мужики то и не знали"(с). Да еще применяя свой проблемно-ориентированный язык для построения СИ измерения параметров радиостанций. Но это так ...уже история ....

4. Виртуальный прибор. Но это все "чистое ПО"!!!! АЦП,ЦАП и ПО!!!

Там все ПО метрологически значимое!

5. А позвольте узнать (если можно...) а что Вы там тестирует и оцениваете?

Запад уже давно работает в неопределенностях... уже все оценено...протестировано...И известно в спецификациях....

Две фразы напоследок.

- "широка страна моя родная..."

- "умом Россию не понять..."

[Лабинцев А.И. 17]

1. "Оценка погрешности". А что это такое?

Погрешность можно определить ... и сравнить с допуском (нормированной погрешностью)... признать годность СИ к эксплуатации...

ОЦЕНИТЬ можно неопределенность измерения.

Вы постоянно эти понятия путаете....

Так все путают, и я путаю!

МИ 2955-2010

п. 6.5.1. Оценка влияния ПО на МХ СИ определяется методикой аттестации и может включать в себя:

...определение критерия оценки влияния ПО на метрологические характеристики СИ (например, значение вклада ПО в суммарную погрешность (неопределенность) СИ)...

Может быть, я неточно выразился. Хочется поговорить о ПО как о неком алгоритме обработки измерительной информации, который вносит неопределенность в погрешность результата измерения. И выяснить, где заканчивается получение результата измерения, и начинается его обработка. И вносит ли эта обработка существенные искажения в конечный результат, отображаемый на экране.

Но если у Вас есть желание обсудить правильность применения метрологических терминов, давайте создадим другую ветку на форуме.

[Лабинцев А.И. 17]

2. Недостаток системы LabView - полностью ЗАКРЫТЫЙ ИСХОДНЫЙ КОД!

Но посмотрите сколько внесено СИ под этой системой в реестр...

И испытания для утверждения типа проводил 32 ГЦНИИ.

Им что предоставили исходный код??? Конфиденциально???

Не могу ответить на Ваш вопрос, т.к. не имею отношения к этой организации. Могу лишь предположить, что испытывались приборы вместе с компьютерами и установленным ПО на них. Результат измерения на экране испытуемого СИ не выходит за установленные пределы - значит СИ годно. Никто же не лезет с анализом в ПЗУ микроконтроллеров при утверждении типа калибратора напряжения, например?

[Лабинцев А.И. 17]

3.Виртуальные приборы. Красиво звучит. Многих,когда в 1986 году, услышали это название - оно зачаровало. Одним из НИИ Министерства промышленности средств связи был подготовлен научный обзор по виртуальным измерительным приборам.

И этот материал мы должны были обсудить на научно техническом совете.

После лекции пригляделись...оказывается мы 6 лет как уже разрабатываем и производим виртуальные приборы. "Мужики то и не знали"(с). Да еще применяя свой проблемно-ориентированный язык для построения СИ измерения параметров радиостанций. Но это так ...уже история ....

4. Виртуальный прибор. Но это все "чистое ПО"!!!! АЦП,ЦАП и ПО!!!

Там все ПО метрологически значимое!

В том то и вопрос, что ПО метрологически значимое, но неопределенность алгоритма (виртуального прибора) существенного влияния на результат измерения не оказывает. Неопределенность АЦП и ЦАП на несколько порядков выше. Если я не прав, поправьте меня, пожалуйста.

[Лабинцев А.И. 17]

5. А позвольте узнать (если можно...) а что Вы там тестирует и оцениваете?

Я никогда этими вещами не занимался. Более того, я не знаю людей, которые этим занимаются. Я ищу здесь на форуме тех, кто с этим когда-либо сталкивался. Чтобы спросить: а нельзя ли отдельно проводить аттестацию ПО, и отдельно испытания типа измерительных преобразователей АЦП, ЦАП? Ведь если ПО хорошо идентифицируется, имеет защиту, хранит, обрабатывает и передает данные без значительных искажений, зачем его включать в состав ИИС? Чтобы при выходе следующей версии прошивки проводить аттестацию типа СИ заново? Это же долго, дорого и никому не нужно.

С микроконтроллерами понятно, там тяжело отделить работу ПО от электротехники. Но для ПО типа U такой подход имеет право на жизнь. Так почему бы не посветить диссертацию его обоснованию?

[Лабинцев А.И. 17]

Запад уже давно работает в неопределенностях... уже все оценено...протестировано...И известно в спецификациях....

Если можно, ссылки пожалуйста.

[Дмитрий Борисович 1 013]

Не..е..е...

Я здесь пас.....тут все нужно учить по новой...

Один нюанс по МИ.

Вы говорите что все путают. Но обратите внимание , в МИ когда говорят об "оценке влияния ПО на МХ", то уточняют - вклад в суммарную погрешность и слово неопределенность взята в скобках.....

Так что там все правильно....

И один маленький вопросик по алгоритму виртуального анализатора спектра.

Какая погрешность определения амплитуды частотной составляющей спектра?

[Лабинцев А.И. 17]

Какая погрешность определения амплитуды частотной составляющей спектра?

Как я сейчас вижу это дело, в одном из частных случаев: Погрешность СИ = погрешность АЦП + [погрешность ПО = погр-ть численного метода (ДПФ, например) + погр-ть от реализации на ЭВМ].

[Лабинцев А.И. 17]

Погрешность ПО в таких системах много меньше погрешности АЦП, можно было бы ей пренебречь. И проводить аттестацию систему обработки, хранения и передачи данных отдельно от метрологически важных компонентов ИС.

Проблема озвучена Александром Александровичем начиная с 9 минуты. И его же статья НТК 7 Энергия Белых ночей 2014 стр. 33