Утечка стандартного отклонения

[Cristal 2]

Берём эксель генерируем 10 (в данном случае кол-во не имеет значение) случайных чисел с нормальным распределением. НОРМ.ОБР(СЛЧИС();0;1)
Среднее 0, СКО 1

Из сгенерированных чисел пытаемся посчитать СКО, конечно оно не будет прям 1, мы ожидаем что значение будет около 1,
А теперь сгенерируем так много раз и посчитаем среднее значение СКО выборок.
Почему среднее СКО не 1, а меньше?

Можно предположить что так и должно быть, но мы то пытаемся наиболее точно определить СКО (которое равно 1), значит если ввести поправочный коэффициент то можно точнее посчитать СКО (бред)
Искажённо генерируется выборка?
Если брать больше чисел, не 10 а больше, то среднее СКО начинает приближаться к 1. и я как бы уже пару лет провожу различные исследования с нормальным распределением, не замечал что бы мои результаты отличались от полученных значений у других, и можно тупо проверить вставить вместо СЛЧИС() например 0,5 и сравнить с табличными значениями.

ГДЕ Я ТУПЛЮ?

первоисточник

УтечкаСКО.zip

[Ника 1321]

21 минуту назад, Cristal сказал:

Берём эксель

И мне сразу вспомнилось обсуждение

 

[Cristal 2]

Такой артефакт даже присущ python и с++, это связано с особенностями хранения чисел, полно статей можно найти. Ссылки не буду кидать.

[scbist 1847]

26 минут назад, Cristal сказал:

Если брать больше чисел, не 10 а больше, то среднее СКО начинает приближаться к 1.

Логично.

26 минут назад, Cristal сказал:

А теперь сгенерируем так много раз и посчитаем среднее значение СКО выборок.
Почему среднее СКО не 1, а меньше?

Так выборка это уже не совсем случайная величина. Там надо еще на n поделить.

Но лучше теорию почитайте.

[Cristal 2]

Что поделить? В файле все формулы правильные.

[Cristal 2]

7 минут назад, scbist сказал:

Так выборка это уже не совсем случайная величина.

Да не случайная, и я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю какое там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97
 

Изменено 15 Июня 2022 пользователем Cristal

[libra 558]

Коэффициент Стьюдента для выборки из 10 приблизительно равен 3. Если среднее укладывается в интервал +/- 3*СКО/корень(10) то "усе в порядке шеф".

[libra 558]

6 минут назад, libra сказал:

Коэффициент Стьюдента для выборки из 10 приблизительно равен 3. Если среднее укладывается в интервал +/- 3*СКО/корень(10) то "усе в порядке шеф".

Если брать доверительный интервал 0,95, то t=2,28 и получите интервал+/- 0,98. Куда укладывается "ваше" Хср=0,96.

[Rais 51]

12 часов назад, Cristal сказал:

Берём эксель генерируем 10 (в данном случае кол-во не имеет значение) случайных чисел с нормальным распределением. НОРМ.ОБР(СЛЧИС();0;1)
Среднее 0, СКО 1

Из сгенерированных чисел пытаемся посчитать СКО, конечно оно не будет прям 1, мы ожидаем что значение будет около 1,
А теперь сгенерируем так много раз и посчитаем среднее значение СКО выборок.
Почему среднее СКО не 1, а меньше?

Можно предположить что так и должно быть, но мы то пытаемся наиболее точно определить СКО (которое равно 1), значит если ввести поправочный коэффициент то можно точнее посчитать СКО (бред)
Искажённо генерируется выборка?
Если брать больше чисел, не 10 а больше, то среднее СКО начинает приближаться к 1.

12 часов назад, Cristal сказал:

Да не случайная, и я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю какое там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97

Интересное наблюдение, спасибо за информацию. Но кажется ответ Вы дали сами:

12 часов назад, Cristal сказал:

это связано с особенностями хранения чисел,

Остается увеличивать количество генерируемых чисел.  

[Cristal 2]

=ДОВЕРИТ(0,05;1;10) = 0,68   Это мы и сами могём . Я не среднее считаю.

я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю что там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97 (всегда без плюс минус 0,03)

Я как бы не утверждаю что я прав (скорее всего неправ) но так и не нашёл логичного ответа почему? Если Мы считаем СКО то как бы и рассчитываем получить СКО.

Например: мы знаем СКО, и знаем что оно получено из выборки n=10 (Формулу все знают)

В показанном первом примере если известное СКО * 1,015 то результат расчёта будет точнее в 70 процентах случаев. (проверяется легко). Тем же статистическим экспериментом.

 

 

 

Изменено 16 Июня 2022 пользователем Cristal

[Rais 51]

14 минут назад, Rais сказал:

Но кажется ответ Вы дали сами:

Беру свои слова назад. ))))

При расчете СКО в знаменателе используйте не (n-1), а (n-1,5).

Подробнее тут: Несмещенная оценка стандартного отклонения

[Cristal 2]

Я пробовал (не получилось), да я помню эту формулу она в ГОСТах встречалась, ВЕРОЯТНО неправильно сосчитал, вечером перепроверю отпишусь. Действительно похоже на правду.

Господа а Вы все неправильно все эти годы считали СКО (занижали так сказать)

Изменено 16 Июня 2022 пользователем Cristal

[rmetr 251]

11 минут назад, Rais сказал:

Беру свои слова назад. ))))

При расчете СКО в знаменателе используйте не (n-1), а (n-1,5).

Подробнее тут: Несмещенная оценка стандартного отклонения

Вот "корень" зла:

"The square root is a nonlinear function, and only linear functions commute with taking the expectation. Since the square root is a strictly concave function, it follows from Jensen's inequality".

[scbist 1847]

12 часов назад, Cristal сказал:

Да не случайная, и я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю какое там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97

Возможно я не понял вопроса. Поясню свою мысль.

Вы производите обработку 10 случайных чисел. Получаете матожидание и СКО. Потом производите обработку 10 матожиданий.

Матожидание это уже не случайная величина. Если первоначальная выборка будет не 10, а миллион, то матожидания таких выборок совпадут с точностью до миллиметра. СКО матожиданий будет стремиться к нулю.

[Cristal 2]

Нашли ж ответ n 10 смещение СКО 0.972659274 , что коррелирует с моими результатами

[scbist 1847]

Еще раз перечитал ветку и понял, что Вы зачем-то считаете Среднее СКО  из полученных СКО.

Теоретически они случайные величины и должны колебаться около единицы, раз Вы так задали. И их среднее тоже должно стремиться к единице. Но по факту не получается.

Самое интересное, что это среднее у Вас получается практически одинаковое.

А Вы пробовали проводить натурный эксперимент?

Ведь компьютер выдает не случайные, а псевдослучайные числа.

[Cristal 2]

Я знаю как увеличить детерминацию случайного числа до невообразимых размеров, проблема не в этом. Ответ уже нашли, да действительно есть смещение. Нам врали и дали упрощённую формулу. Как теперь с этим жить?

 

Изменено 16 Июня 2022 пользователем Cristal

[scbist 1847]

Мда. С натурным экспериментом я кажется погорячился. Вы же не знаете ответа.

Нужен реальный объект с нормальным законом. Рулетка не катит.

Жаль, что я уже не работаю на своем первом месте, а то бы мог выдать многолетние данные по результатам измерений одного и того же параметра. Можно было бы посчитать хоть десятками, хоть тысячами.

[Cristal 2]

[libra 558]

7 минут назад, Cristal сказал:

Я знаю как увеличить детерминацию случайного числа до невообразимых размеров, проблема не в этом. Ответ уже нашли, да действительно есть смещение.

 

Оно у вас в голове. Научные методы определения наличия систематической погрешности, проверки нормальности распределения давно описаны. В своих рассуждениях вы не пользуетесь ни одним из них. Удачи.

[rmetr 251]

Аркадий Григорьевич, Владимир Орестович, перечитайте тему, статью в Википедии на которую была ссылка. Там ответ про причины смещения и как с этим бороться.

Привычная формула с делением на (n-1) является упрощенным приближенным вариантом.... дальше по ссылке.

[libra 558]

1 минуту назад, rmetr сказал:

Аркадий Григорьевич, Владимир Орестович, перечитайте тему, статью в Википедии на которую была ссылка. Там ответ про причины смещения и как с этим бороться.

Привычная формула с делением на (n-1) является упрощенным приближенным вариантом.... дальше по ссылке.

https://ru.wikipedia.org/wiki/Распределение_хи-квадрат

Отличие дисперсии выборки от дисперсии совокупности через кси распределение. Если хотите по критерию Фишера.

Наличие смещения СКО проверяется по критерию Аббе. http://www.machinelearning.ru/wiki/index.php?title=Критерий_Аббе-Линника#:~:text=Критерий Аббе-Линника предназначен для,постоянным средним против альтернативы тренда.

 

[libra 558]

[Dom3n3c 150]

1 час назад, Rais сказал:

При расчете СКО в знаменателе используйте не (n-1), а (n-1,5)

В экселе заложено нормальное распределение?

[Cristal 2]

Что значит заложено?, Там несколькими способами можно сгенерировать случайные выборки, в том числе с нормальным распределением.