Перейти к контенту

Утечка стандартного отклонения


26 сообщений в этой теме

Рекомендуемые сообщения

Берём эксель генерируем 10 (в данном случае кол-во не имеет значение) случайных чисел с нормальным распределением. НОРМ.ОБР(СЛЧИС();0;1)
Среднее 0, СКО 1

Из сгенерированных чисел пытаемся посчитать СКО, конечно оно не будет прям 1, мы ожидаем что значение будет около 1,
А теперь сгенерируем так много раз и посчитаем среднее значение СКО выборок.
Почему среднее СКО не 1, а меньше?

Можно предположить что так и должно быть, но мы то пытаемся наиболее точно определить СКО (которое равно 1), значит если ввести поправочный коэффициент то можно точнее посчитать СКО (бред)
Искажённо генерируется выборка?
Если брать больше чисел, не 10 а больше, то среднее СКО начинает приближаться к 1. и я как бы уже пару лет провожу различные исследования с нормальным распределением, не замечал что бы мои результаты отличались от полученных значений у других, и можно тупо проверить вставить вместо СЛЧИС() например 0,5 и сравнить с табличными значениями.

ГДЕ Я ТУПЛЮ?

первоисточник

УтечкаСКО.zip

Ссылка на комментарий
Поделиться на других сайтах

21 минуту назад, Cristal сказал:

Берём эксель

И мне сразу вспомнилось обсуждение

 

Ссылка на комментарий
Поделиться на других сайтах

Такой артефакт даже присущ python и с++, это связано с особенностями хранения чисел, полно статей можно найти. Ссылки не буду кидать.

Ссылка на комментарий
Поделиться на других сайтах

  • Специалисты
26 минут назад, Cristal сказал:

Если брать больше чисел, не 10 а больше, то среднее СКО начинает приближаться к 1.

Логично.

26 минут назад, Cristal сказал:

А теперь сгенерируем так много раз и посчитаем среднее значение СКО выборок.
Почему среднее СКО не 1, а меньше?

Так выборка это уже не совсем случайная величина. Там надо еще на n поделить.

Но лучше теорию почитайте.

Ссылка на комментарий
Поделиться на других сайтах

7 минут назад, scbist сказал:

Так выборка это уже не совсем случайная величина.

Да не случайная, и я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю какое там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97
 

Изменено пользователем Cristal
Ссылка на комментарий
Поделиться на других сайтах

Коэффициент Стьюдента для выборки из 10 приблизительно равен 3. Если среднее укладывается в интервал +/- 3*СКО/корень(10) то "усе в порядке шеф".

Ссылка на комментарий
Поделиться на других сайтах

6 минут назад, libra сказал:

Коэффициент Стьюдента для выборки из 10 приблизительно равен 3. Если среднее укладывается в интервал +/- 3*СКО/корень(10) то "усе в порядке шеф".

Если брать доверительный интервал 0,95, то t=2,28 и получите интервал+/- 0,98. Куда укладывается "ваше" Хср=0,96.

Ссылка на комментарий
Поделиться на других сайтах

12 часов назад, Cristal сказал:

Берём эксель генерируем 10 (в данном случае кол-во не имеет значение) случайных чисел с нормальным распределением. НОРМ.ОБР(СЛЧИС();0;1)
Среднее 0, СКО 1

Из сгенерированных чисел пытаемся посчитать СКО, конечно оно не будет прям 1, мы ожидаем что значение будет около 1,
А теперь сгенерируем так много раз и посчитаем среднее значение СКО выборок.
Почему среднее СКО не 1, а меньше?

Можно предположить что так и должно быть, но мы то пытаемся наиболее точно определить СКО (которое равно 1), значит если ввести поправочный коэффициент то можно точнее посчитать СКО (бред)
Искажённо генерируется выборка?
Если брать больше чисел, не 10 а больше, то среднее СКО начинает приближаться к 1.

12 часов назад, Cristal сказал:

Да не случайная, и я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю какое там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97

Интересное наблюдение, спасибо за информацию. Но кажется ответ Вы дали сами:

12 часов назад, Cristal сказал:

это связано с особенностями хранения чисел,

Остается увеличивать количество генерируемых чисел.  

Ссылка на комментарий
Поделиться на других сайтах

=ДОВЕРИТ(0,05;1;10) = 0,68   Это мы и сами могём :). Я не среднее считаю.

я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю что там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97 (всегда без плюс минус 0,03)

Я как бы не утверждаю что я прав (скорее всего неправ) но так и не нашёл логичного ответа почему? Если Мы считаем СКО то как бы и рассчитываем получить СКО.

Например: мы знаем СКО, и знаем что оно получено из выборки n=10 (Формулу все знают)

В показанном первом примере если известное СКО * 1,015 то результат расчёта будет точнее в 70 процентах случаев. (проверяется легко). Тем же статистическим экспериментом.

 

 

 

Изменено пользователем Cristal
Ссылка на комментарий
Поделиться на других сайтах

14 минут назад, Rais сказал:

Но кажется ответ Вы дали сами:

Беру свои слова назад. ))))

При расчете СКО в знаменателе используйте не (n-1), а (n-1,5).

Подробнее тут: Несмещенная оценка стандартного отклонения

Ссылка на комментарий
Поделиться на других сайтах

Я пробовал (не получилось), да я помню эту формулу она в ГОСТах встречалась, ВЕРОЯТНО неправильно сосчитал, вечером перепроверю отпишусь. Действительно похоже на правду.

Господа а Вы все неправильно все эти годы считали СКО :) (занижали так сказать)

Изменено пользователем Cristal
Ссылка на комментарий
Поделиться на других сайтах

11 минут назад, Rais сказал:

Беру свои слова назад. ))))

При расчете СКО в знаменателе используйте не (n-1), а (n-1,5).

Подробнее тут: Несмещенная оценка стандартного отклонения

Вот "корень" зла:

"The square root is a nonlinear function, and only linear functions commute with taking the expectation. Since the square root is a strictly concave function, it follows from Jensen's inequality".

Ссылка на комментарий
Поделиться на других сайтах

  • Специалисты
12 часов назад, Cristal сказал:

Да не случайная, и я Вам даю 10^10 выборок по 10 значений с СКО 1 (но Вам не говорю какое там СКО 1), как Вы думаете в среднем у Вас СКО какое получится? А вот в эксперименте оно 0,97

Возможно я не понял вопроса. Поясню свою мысль.

Вы производите обработку 10 случайных чисел. Получаете матожидание и СКО. Потом производите обработку 10 матожиданий.

Матожидание это уже не случайная величина. Если первоначальная выборка будет не 10, а миллион, то матожидания таких выборок совпадут с точностью до миллиметра. СКО матожиданий будет стремиться к нулю.

Ссылка на комментарий
Поделиться на других сайтах

  • Специалисты

Еще раз перечитал ветку и понял, что Вы зачем-то считаете Среднее СКО  из полученных СКО.

Теоретически они случайные величины и должны колебаться около единицы, раз Вы так задали. И их среднее тоже должно стремиться к единице. Но по факту не получается.

Самое интересное, что это среднее у Вас получается практически одинаковое.

А Вы пробовали проводить натурный эксперимент?

Ведь компьютер выдает не случайные, а псевдослучайные числа.

Ссылка на комментарий
Поделиться на других сайтах

Я знаю как увеличить детерминацию случайного числа до невообразимых размеров, проблема не в этом. Ответ уже нашли, да действительно есть смещение. Нам врали и дали упрощённую формулу. Как теперь с этим жить?

 

Изменено пользователем Cristal
Ссылка на комментарий
Поделиться на других сайтах

  • Специалисты

Мда. С натурным экспериментом я кажется погорячился. Вы же не знаете ответа.

Нужен реальный объект с нормальным законом. Рулетка не катит.

Жаль, что я уже не работаю на своем первом месте, а то бы мог выдать многолетние данные по результатам измерений одного и того же параметра. Можно было бы посчитать хоть десятками, хоть тысячами.

Ссылка на комментарий
Поделиться на других сайтах

7 минут назад, Cristal сказал:

Я знаю как увеличить детерминацию случайного числа до невообразимых размеров, проблема не в этом. Ответ уже нашли, да действительно есть смещение.

 

Оно у вас в голове. Научные методы определения наличия систематической погрешности, проверки нормальности распределения давно описаны. В своих рассуждениях вы не пользуетесь ни одним из них. Удачи.

Ссылка на комментарий
Поделиться на других сайтах

Аркадий Григорьевич, Владимир Орестович, перечитайте тему, статью в Википедии на которую была ссылка. Там ответ про причины смещения и как с этим бороться.

Привычная формула с делением на (n-1) является упрощенным приближенным вариантом.... дальше по ссылке.

Ссылка на комментарий
Поделиться на других сайтах

1 минуту назад, rmetr сказал:

Аркадий Григорьевич, Владимир Орестович, перечитайте тему, статью в Википедии на которую была ссылка. Там ответ про причины смещения и как с этим бороться.

Привычная формула с делением на (n-1) является упрощенным приближенным вариантом.... дальше по ссылке.

https://ru.wikipedia.org/wiki/Распределение_хи-квадрат

Отличие дисперсии выборки от дисперсии совокупности через кси распределение. Если хотите по критерию Фишера.

Наличие смещения СКО проверяется по критерию Аббе. http://www.machinelearning.ru/wiki/index.php?title=Критерий_Аббе-Линника#:~:text=Критерий Аббе-Линника предназначен для,постоянным средним против альтернативы тренда.

 

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rais сказал:

При расчете СКО в знаменателе используйте не (n-1), а (n-1,5)

В экселе заложено нормальное распределение?

Ссылка на комментарий
Поделиться на других сайтах

Что значит заложено?, Там несколькими способами можно сгенерировать случайные выборки, в том числе с нормальным распределением.

Ссылка на комментарий
Поделиться на других сайтах

Присоединиться к обсуждению

Вы можете ответить сейчас, а зарегистрироваться позже. Если у вас уже есть аккаунт, войдите, чтобы ответить от своего имени.

Гость
Ответить в этой теме...

×   Вы вставили отформатированный текст.   Удалить форматирование

  Допустимо не более 75 смайлов.

×   Ваша ссылка была автоматически заменена на медиа-контент.   Отображать как ссылку

×   Ваши публикации восстановлены.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

Загрузка...

Информация

  • Недавно просматривали   0 пользователей

    • Ни один зарегистрированный пользователь не просматривает эту страницу.

×
×
  • Создать...