Неопределенность против погрешности

[Mahaputra 20]

В 07.09.2024 в 08:03, Геометр сказал:

Пример некорректный. В нем фигурирует общая для обоих случаев единица.

Не угодишь Вам. Примерно то же самое реализуют обе концепции. Не нравится - придумайте 3й вариант.

[scbist 1847]

 

Цитата

 

Метрологический понедельник! #84 Обсуждение оценки соответствия, правил принятия решений и риска принятия решений об измерениях – проблема с заявлениями о соответствии

Джефф Гаст

Старший директор по метрологии, соблюдению нормативных требований и нормативному регулированию — главный корпоративный метролог в корпорации Fluke — преподаватель, наставник и энтузиаст в области измерений.

 

 

9 сентября 2024 г.

Я хотел бы выразить свою благодарность всем, кто терпеливо читал мои посты о рисках принятия решений по измерению. Я знаю, что все хотят сразу перейти к правилам принятия решений и риску. Я считаю, что было важно выстроить нашу дискуссию по этой теме, чтобы мы были едины, прежде чем погрузимся в более сложные части этой дискуссии.

Сказав это, я готов перейти к сути вопроса. Проблема с заявлениями о соответствии заключается в том, что измерение является лишь оценкой истинного значения, которое мы пытаемся измерить. Мы не можем с абсолютной уверенностью сказать, что истинное значение находится внутри или вне пределов спецификации. Простая причина этого в том, что, как мы знаем, каждое измерение имеет связанную с ним неопределенность измерения.

 

Пример измерения в заданной контрольной точке

На рисунке выше оценка измеренного значения обозначена пиком или центром распределения. Форма и ширина распределения передают неопределенность, связанную с измеренным значением. Мы знаем, что истинное значение, связанное с измеренным значением, должно существовать где-то в области под нормальным распределением (колоколообразная кривая) для измерения, но оно неизвестно и непознаваемо.

На этом рисунке показано измерение в контрольной точке, где -SL представляет нижний предел спецификации для контрольной точки, Nom представляет номинальное значение, а +SL представляет верхний предел спецификации. Вы можете заметить, что измеренное значение находится в пределах спецификации, но неопределенность измерения превышает верхний предел спецификации. Поскольку истинное значение может существовать в любом месте под распределением неопределенности, истинное значение может находиться в пределах спецификации или также может быть за пределами пределов спецификации, но все еще в пределах распределения. Это самый простой способ, которым я могу проиллюстрировать всю проблему Когда мы выполняем калибровку и проверку продукта или проводим окончательное испытание на изготовленном продукте, наша основная задача состоит в том, чтобы

· Принимаем хорошие единицы

· Отклонить плохие единицы

Когда мы проводим измерение для заданной контрольной точки, которая ограничена спецификацией или максимально допустимой ошибкой, и мы оцениваем наше измерение и правила и принимаем решение, является ли единица хорошей или плохой. Существует два возможных результата принятия этого решения.

· Ты прав

· Вы неправы

 

Пример 1. Калибровка продукта и определение соответствия

Первый пример, который я здесь имею, это когда мы снова показываем контрольную точку, которая имеет нижний предел, номинальное значение и верхний предел. Мы делаем измерение, представленное точкой, и похоже, что точка находится в пределах спецификации, поэтому мы должны быть уверены в нашем решении, что устройство хорошее или находится в пределах спецификации, верно?

 

Пример 2. Калибровка продукта и определение соответствия

Но мы знаем, что все измерения содержат неопределенность, поэтому мы покажем то же измерение с планками погрешностей, которые используются для сообщения величины неопределенности измерения. Опять же, большинство людей чувствуют себя довольно уверенно, что измерение указывает на то, что единица находится в пределах спецификаций.

 

Пример 3. Калибровка продукта и определение соответствия

Теперь я добавляю еще один пример точно такого же измеренного значения, но на этот раз неопределенность больше. Вы все еще уверены, что измерение указывает на то, что продукт действительно соответствует спецификациям?

Если ваша неопределенность велика по сравнению с указанным требованием, насколько вы уверены в своем заявлении о прохождении/непрохождении или несоответствии или выходе за пределы допуска? Я думаю, что инстинктивно мы понимаем, что чем больше наша неопределенность по сравнению со спецификацией, тем больше становится наш риск принятия неправильного решения. Я надеюсь, что эти примеры помогут вам это подтвердить. Первый пример также демонстрирует действительно важный момент: если мы не знаем неопределенности для конкретного измерения, как мы когда-либо сможем оценить наш риск быть правыми или неправыми? #MetrologyMonday #FlukeMetrology

 

Интересно, что автор использует термин "истинное значение".

Цитата

That being said, I am ready to get to the heart of the issue.  The problem with conformity statements is that the measurement is only an estimate of the true value that we seek to measure.  We can’t say with absolute certainty that the true value lies inside or outside of the specification limits.  The simple reason for this is, as we know, every measurement has an associated measurement uncertainty.

[Геометр 953]

17 часов назад, Mahaputra сказал:

Не угодишь Вам. Примерно то же самое реализуют обе концепции. Не нравится - придумайте 3й вариант.

А при чем тут "угодишь-не-угодишь"? Здесь вся тема пропитана мыслью о том, что прежде чем проводить измерения, необходимо договориться о единицах измерений и их сопоставлении. То есть получается, что единицы у всех разные. Но вот как это сделать, чтобы концепции даже не пересекались, никто не знает и не может внятно объяснить. Вы же предлагаете обычный пересчет, так как ваши единицы в конечном итоге замкнуты на некую общую единицу. Так что вы не предложили ни 1-го, ни 2-го вариантов, чтоб тут придумывать еще и 3-й вариант.

[kot1967 208]

6 часов назад, scbist сказал:

 

Интересно, что автор использует термин "истинное значение".

И фактически ассоциирует его с номиналом

[Lavr 543]

4 часа назад, Геометр сказал:

Здесь вся тема пропитана мыслью о том, что прежде чем проводить измерения, необходимо договориться о единицах измерений и их сопоставлении.

Это Ваше сознание пропитано мыслю об этом.

 

4 часа назад, Геометр сказал:

 

 

4 часа назад, Геометр сказал:

То есть получается, что единицы у всех разные.

Как может быть разным то, о чем договорились?

 

4 часа назад, Геометр сказал:

Но вот как это сделать, чтобы концепции даже не пересекались, никто не знает

Что "это"?

 

4 часа назад, Геометр сказал:

и не может внятно объяснить.

Надо слушать и вникать, когда вам объясняют, чтобы понять, а вы слушаете, чтобы возразить. Так вы никогда не поймете.

[scbist 1847]

12 часов назад, kot1967 сказал:

И фактически ассоциирует его с номиналом

Нет. Номинал это требование, а истинное это факт.

Оценивается соответствие истины требованию по результату измерения.

Цитата

Мы знаем, что истинное значение, связанное с измеренным значением, должно существовать где-то в области под нормальным распределением (колоколообразная кривая) для измерения, но оно неизвестно и непознаваемо.

 

[Геометр 953]

5 часов назад, Lavr сказал:

Как может быть разным то, о чем договорились?

Чтобы договориться, нужно договариваться...

[scbist 1847]

Флюковский метролог выложил очередную статью. 

 

Цитата

 

Метрологический понедельник! #86 Обсуждение оценки соответствия, правил принятия решений и риска принятия решений об измерениях – признание требований заказчика к риску

23 сентября 2024 г.

На прошлой неделе у меня было несколько замечательных взаимодействий с несколькими читателями через их комментарии. Я подумал, что могу расширить свои мысли о некоторых из них, поскольку мы продолжим обсуждение на этой неделе.

Первый комментарий был от Виктораса Заболотнаса, который задался вопросом, являются ли хорошие примеры качественного и количественного воздействия обязательно плохими или, выражаясь моими словами, ужасной историей. Я хотел сказать, что «ужасная история», вероятно, не совсем правильный термин с моей стороны. Я хотел донести, что, преподавая этот предмет другим опытным метрологам, именно в этот момент они обычно поднимают очень впечатляющие или серьезные инциденты, которые произошли из-за плохого процесса измерения или решения. Еще в посте № 11 я рассказывал о Fluke 261 авиакомпании Alaska Airlines. 88 человек погибли на этом рейсе. Расследование крушения указало на ненадлежащую калибровку инструментов, и это было названо недостатком в программе технического обслуживания как фактором, способствовавшим крушению. Я также могу сослаться на отчет США по расследованию химической безопасности и опасности взрыва и пожара на нефтеперерабатывающем заводе в Техас-Сити, штат Техас, 23 марта 2005 года. В этом отчете говорится: «На принятие решения оператором совета директоров повлияло неправильно откалиброванное оборудование». В результате взрыва и пожара погибли 15 человек, 180 получили ранения.

Как сказал Генри Цумбрун, иногда производитель думает только о своих собственных рисках, а не о последствиях, с которыми может столкнуться заказчик. Он продолжил, сказав, что риск принятия решения об измерении должен обсуждаться при рассмотрении контракта, чтобы выполнить калибровку с соответствующими правилами принятия решения об оценке соответствия, принимая все это во внимание. Мой ответ на это — ТОЧНО! Вот почему у нас есть это требование в ISO/IEC 17025:2017 в разделе 7.1.3. Этого требования не было ни в одном стандарте качества калибровки до версии ISO/IEC 17025 2017 года. Я лично написал это требование, принес его в группу авторов и убедился, что оно было включено в публикацию этого стандарта.

Для тех, кто продолжает говорить, что старые стандарты качества калибровки лучше, ни один из них не требовал обсуждения риска с клиентом. Фактически, если и были какие-либо требования, то это было единое требование, которому все должны были соответствовать. Например, ANSI/NCSL Z540.3 требовал 2% PFA или, где это нецелесообразно, равного или большего TUR 4:1. С этим требованием связано несколько проблем. 1) TUR 4:1 не обязательно равен 2% PFA, как я покажу в следующих постах, и 2) это накладывает одинаковый уровень риска принятия решения об измерении на всех и снова не учитывает точку зрения клиента. Есть клиенты, которым может потребоваться гораздо меньший риск, чем 2% (я надеюсь, что авиакомпании, которыми я летаю, по крайней мере, так делают!), и есть клиенты, которые могут жить с риском более 2%, поэтому иметь документ, который требует, чтобы у всех было одинаковое количество независимо от их конкретной ситуации, для меня было не очень хорошей идеей.

У меня есть хороший пример, чтобы проиллюстрировать это. Я отправился в компанию, которая в первую очередь известна тем, что строит ракеты. Человек, отвечающий за их систему калибровки, хотел узнать больше о риске принятия решений об измерениях. Я спросил человека: «Установила ли ваша компания официально политику риска с конкретной количественной оценкой риска ложного принятия?» Представитель ответил, что нет. Я сказал, что это не проблема, и мы можем просто договориться о том, что должно быть приемлемым. Затем я сказал: «Вы отправляете вещи в космос. Согласитесь ли вы, поскольку вы, скорее всего, никогда больше не увидите это устройство, что должен быть низкий риск вокруг любого решения об измерениях, проверяющего его?» Они полностью согласились со мной, что им нужен очень низкий риск, поэтому мы решили, что риск в 1–2%, вероятно, будет хорошей оценкой. Затем я спросил его: «Ваша компания также производит коммерческие антенны и интернет-приемники, которые поставляются клиентам на дом, что произойдет, если ошибка измерения сделает один из них плохим?» Они ответили: «Это не проблема, мы просто отправляем им новый блок». Затем я ответил: «Так справедливо ли будет сказать, что вы можете допустить гораздо больше риска для ваших коммерческих продуктов, чем для ваших космических продуктов. Вы рассматривали возможность иметь один набор требований для космических изделий и другой для коммерческих продуктов?» Конечно, они ответили, что нет. Опять же, я расскажу об этом подробнее позже, но важно понимать, что чем ниже ваш риск, тем выше стоимость вашей системы. Вы можете увидеть, где менеджер системы калибровки мог бы как соответствовать требованиям своей компании, так и оптимизировать расходы, если бы он лучше понимал свои требования к риску.

Надеюсь, я продемонстрировал, что некоторые из улучшений, которые мы внесли в ISO/IEC 17025:2017, были разумными. Наконец, я хотел бы выразить признательность за большее количество комментариев, полученных на этой неделе. Это были добрые слова Стивена Пурьера. Его ответ о том, что Fluke делает хорошо и преуспевает, вероятно, является самым приятным комплиментом, который может получить компания. Мы должны хорошо работать для компании, чтобы мы могли наслаждаться своими зарплатами, но я считаю, что есть реальная потребность в том, чтобы люди и компании делали добро в мире и делали его лучшим местом для всех.

 

Меня заинтересовали рассуждения о риске.

В моей практике я встречался такими показателями только при испытаниях на надежность в качестве исходных данных.

Это были риск потребителя, риск производителя, наработка на отказ, вероятность безотказной работы и т.д. На основании этих данных выбирался метод испытаний и количество образцов.

А по части метрологии нам всегда хватало классического соотношения 1/3 - 1/5. Тем более, что выбор СИ был за конструкторами и технологами, а я только проверял в процессе экспертизы или консультировал. Ни про какие риски никто не заикался. Надежность измерений в ответственных местах повышалась за счет дублирования СИ, сокращения интервалов, ведения защитной полосы. О возможности изменения соотношения в связи с какими-то рисками никто не думал.  Тем более, что повышение точности СИ не приводит к повышению его надежности. Скорее наоборот. Чем выше точность СИ, тем оно сложнее и капризнее.

Сейчас многое изменилось. У кого-то появились в документации требования по рискам связанным с точностью СИ? Т.е. мы знаем, что существуют риски принятия ложных решений. У кого-то они нормируются? Если да, то как?

P.S. Кстати, примеры Джефа Гаста мне не очень понятны. Столкнулись два самолета, взорвалось что-то на нефтеперерабатывающем заводе. Из-за погрешности приборов?

Т.е. расстояние между самолетами приборы показали 2 км, а на самом деле - ноль. Это-ж какая погрешность должна быть, чтобы на столько ошибиться?

Или у нефтяников, что там измерялось? Давление? И оно зашкалило?

И все это из-за ошибочных показаний какого-то одного прибора?

Фигня какая-то.

[kot1967 208]

5 часов назад, scbist сказал:

Меня заинтересовали рассуждения о риске.

Сейчас многое изменилось. У кого-то появились в документации требования по рискам связанным с точностью СИ?

Ну традиционно по моей специфике таких НД полно. Для того же ИФА метода,  ИСО, регламентирующие риски (не в абсолюте точности) ложно-положительных\отрицательных результатов, специфичность, селективность и прочую антиметрологическую  пургу даже были приняты в РФ. А вот дальше было любопытно. Получилось, что если применить такой документ в жизни, т.е. непосредственно к МИ контроля реализующей метод, то методика станет нерабочей ибо при любых результатах сообразно стандарта на метод потребуется  их подтверждение (минимизация рисков) из независимого источника.  А такая МИ оказалась никому не нужна.  Ну и как следствие из стандартизируемых методик ИФА все упоминания на стнадарты устанавливающие базовые требования метода были тщательно вымараны. Такая вот загогулина…

ЗЫ так что там с косвенными измерениями, не появились?

 

[Lavr 543]

9 часов назад, scbist сказал:

Фигня какая-то.

Совершенно с Вами согласен. 

Не надо включать понятия из КН в понятийный аппарат, применяемый в КП. В КП отсутствуют риски, связанные с неопределенностью.

[scbist 1847]

12 часов назад, kot1967 сказал:

Ну традиционно по моей специфике

Традиционно, разговоры о Вашей специфике для меня звучат как белый шум. Без конкретных цитат это специфика в Вашей голове. Не более того.

[scbist 1847]

7 часов назад, Lavr сказал:

Не надо включать понятия из КН в понятийный аппарат, применяемый в КП. В КП отсутствуют риски, связанные с неопределенностью.

Вы опять что-то не дочитали. Автор из самого логова КН. Примеры вполне свежие.  Речь не о поверке, а о калибровке 2000-х годов, что предполагает не погрешность, а неопределенность. О чем автор прямо и пишет. Он же не я, он работает в КН и статьи пишет именно об этом.

Диалог о рисках он тоже ведет с КНщиком, а не КПешником. Не в России, а в Америке.

[scbist 1847]

Я так понимаю, что практикующие метрологи сюда больше не заглядывают?

Помнится, мы давно перешли на риск ориентированный подход. Но описание рисков свелось к словам.

Конкретно риск от неопределенности калибровки СИ никто не считал и требований для своего производства не разрабатывал?

Из статьи Джеффа я понял, что и в Америке это не правило.

18 часов назад, scbist сказал:

Я спросил человека: «Установила ли ваша компания официально политику риска с конкретной количественной оценкой риска ложного принятия?» Представитель ответил, что нет.

А выбор конкретной цифры это тоже некое умозрительное действие.

18 часов назад, scbist сказал:

«Вы отправляете вещи в космос. Согласитесь ли вы, поскольку вы, скорее всего, никогда больше не увидите это устройство, что должен быть низкий риск вокруг любого решения об измерениях, проверяющего его?» Они полностью согласились со мной, что им нужен очень низкий риск, поэтому мы решили, что риск в 1–2%, вероятно, будет хорошей оценкой.

Т.е. они почесали репу и решили. Цифры 1 и 2 им показались красивыми, а 3 уже не очень.

Мне вспоминается, что А.А. Данилов выкладывал материалы семинара в котором немецкий спикер рассказывал о вероятности ложного принятия решения как о площади "под колокольчиком" за границей допуска. А про нормирование риска я что-то ничего не вспоминаю. Предположу, что все упрется в рублево долларовый эквивалент цены ошибки.

К моей практике это ни пришей, ни пристегни. Для производства нормой осталось пока КП с допусками и погрешностями. Неопределенность при приемке продукции мое производство не волнует. При выборе СИ мы руководствуемся теми правилами, которые нам вкладывали в голову еще во времена СССР.

[Lavr 543]

29 минут назад, scbist сказал:

Вы опять что-то не дочитали. Автор из самого логова КН. Примеры вполне свежие.  Речь не о поверке, а о калибровке 2000-х годов, что предполагает не погрешность, а неопределенность. О чем автор прямо и пишет. Он же не я, он работает в КН и статьи пишет именно об этом.

Диалог о рисках он тоже ведет с КНщиком, а не КПешником. Не в России, а в Америке.

Я критикую не автора, а Вас. Перечитайте, что написали Вы.

[scbist 1847]

15 минут назад, Lavr сказал:

Я критикую не автора, а Вас. Перечитайте, что написали Вы.

Я всего-лишь задал вопрос в развернутом виде. Могу повторить короче.

18 часов назад, scbist сказал:

У кого-то появились в документации требования по рискам связанным с точностью СИ? Т.е. мы знаем, что существуют риски принятия ложных решений. У кого-то они нормируются? Если да, то как?

 

[Lavr 543]

16 минут назад, scbist сказал:

Я всего-лишь задал вопрос в развернутом виде.

А я ответил коротко. Какие могут быть требования по рискам, если мы работаем в КП?

[scbist 1847]

1 час назад, Lavr сказал:

Какие могут быть требования по рискам, если мы работаем в КП?

Вы, если мне не изменяет память, вообще не работаете. Вы на пенсии.

Т.е. мой вопрос к Вам не относится.

Жаль, что больше никто не читает эту ветку.

[Lavr 543]

12 минут назад, scbist сказал:

Вы, если мне не изменяет память, вообще не работаете. Вы на пенсии.

 

Я уже 20 лет на пенсии, но сведения у вас неверные.

Изменено 25 Сентября 2024 пользователем Lavr

[Metrology1979 27]

2 часа назад, Lavr сказал:

Какие могут быть требования по рискам, если мы работаем в КП?

1/3 или 1/5

[scbist 1847]

3 часа назад, Lavr сказал:

Я уже 20 лет на пенсии, но сведения у вас неверные.

Ок. Но Вы же работаете не на всех предприятиях страны. Вы работаете в КП, а кто-то может быть и в КН?

[scbist 1847]

1 час назад, Metrology1979 сказал:

1/3 или 1/5

Лаконично!!!

Но какой же тут уровень риска? Сколько вешать в граммах?

[Геометр 953]

7 часов назад, scbist сказал:

Жаль, что больше никто не читает эту ветку.

Ну я читаю. Думаю, что никому от этого не легче.

Думается мне, что основные риски, связанные с неопределенностью измерений, в основном касаются инструментальных и методологических влияющих факторов. И да. Их влияние на риски минимизируется применением более точных СИ и более совершенных методов измерений. В данном случае риски, связанные с человеческим фактором, непредсказуемым, но при этом зачастую влекущим пагубные и даже катастрофические последствия, значительно превышают риски, связанные с неопределенностью измерений. Поэтому предлагаю последователям КН сразу начинать оценивать человеческий фактор, а не вылавливать блох в решении измерительных задач.

[Lavr 543]

11 часов назад, Metrology1979 сказал:

1/3 или 1/5

Смайлик надо ставить после такого ответа.

[Lavr 543]

9 часов назад, scbist сказал:

Но Вы же работаете не на всех предприятиях страны.

Конечно не на всех. Но Вы же не спрашиваете, какая концепция положена в основу измерений на том или ином предприятии, а сразу пытаетесь выяснить

 

14 часов назад, scbist сказал:

У кого-то появились в документации требования по рискам связанным с точностью СИ?

Кстати, сам вопрос уже содержит ошибку, поскольку Вы путаете качество калибровки с точностью СИ.

Для начала следует понять, откуда появляется риск и кто рискует, а уж потом начинать задавать вопросы о применении рискориенированного подхода.  

[Lavr 543]

5 часов назад, Геометр сказал:

Думается мне, что основные риски, связанные с неопределенностью измерений, в основном касаются инструментальных и методологических влияющих факторов.

А мне думается, что вам неправильно думается.