Как проанализировать малые выборки и описать результаты. Бутстреп, малые выборки, применение в анализе данных

При контроле качества товаров в экономических исследованиях эксперимент может проводиться на основе малой выборки.

Под малой выборкой понимается несплошное статистическое обследование, при котором выборочная совокупность образуется из сравнительно небольшого числа единиц генеральной совокупности. Объем малой выборки обычно не превышает 30 единиц и может доходить до 4-5 единиц.

В торговле к минимальному объему выборки прибегают, когда большая выборка или невозможна, или нецелесообразна (например, если проведение исследования связано с порчей или уничтожением обследуемых образцов).

Величина ошибки малой выборки определяется по формулам, отличным от формул выборочного наблюдения со сравнительно большим объемом выборки (n>100). Средняя ошибка малой выборкиu(мю)м.в. вычисляется по формуле:

uм.в = корень(Gквадрат(м.в.) . /n),

где Gквадрат(м.в.) – дисперсия малой выборки.*это сигма*

По формуле (там номер стоит) имеем:

G0квадрат=Gквадрат *n/ (n-1).

Но поскольку при мало выборке n/(n-1) имеет существенное значение, то вычисление дисперсии малой выборки производится с учетом так называемого числа степеней свободы. Под числом степеней свободы понимается количество вариантов, которые могут принимать произвольные значения, не меняя величины средней. При определении дисперсииGквадрат число степеней свободы равноn-1:

Gквадрат(м.в.) = сумма (xi–x(cволнистой чертой))/(n-1).

Предельная ошибка малой выборки Дм.в.(знак- треугольник) определяется по формуле:

При этом значение коэффициента доверия tзависит не только от заданной доверительной вероятности, но и от численности единиц выборкиn. Для отдельных значенийtиnдоверительная вероятность малой выборки определяется по специальным таблицам Стьюдента, в которых даны распределения стандартизованных отклонений:

t= (x(cволнистой чертой) –x(с чертой)) /Gм.в.

Таблицы Стьюдента приводятся в учебниках по математической статистике. Вот некоторые значения из этих таблиц, характеризующие вероятность того, что предельная ошибка малой выборки не превзойдет t-кратную среднюю ошибку:

St=P[(x(cволнистой чертой) –x(с чертой)

По мере увеличения объема выборки распределение Стьюдента приближается к нормальному, и при 20 оно уже мало отличается от нормального распределения.

При проведении малых выборочных обследований важно иметь в виду, что чем меньше объем выборки, тем больше различие между распределением Стьюдента и нормальным распределением. При минимальном объеме выборки (n=4) это различие весьма существенно, что указывает на уменьшение точности результатов малой выборки.

Посредством малой выборки в торговле решается ряд практических задач, прежде всего установление предела, в котором находится генеральная средняя изучаемого признака.

Поскольку при проведении малой выборки в качестве доверительной вероятности практически принимается значение 0,95 или 0,99, то для определения предельной ошибки выборки Дм.в. используются следующие показания распределения Стьюдента.

Выборки, при которых наблюдением охватывается небольшое число единиц (n < 30), принято называть малыми выборками. Они обычно применяются в том случае, когда невозможно или нецелесообразно использовать большую выборку (исследование качества продукции, если это связано с ее разрушением, в частности на прочность, на продолжительность срока службы и т.д.).

Предельная ошибка малой выборки определяется по формуле:

Средняя ошибка малой выборки:

где - дисперсия малой выборки:

где - среднее значение признака по выборке;

Число степеней свободы

Коэффициент доверия малой выборки, зависящей не только от заданной доверительной вероятности, но и от численности единиц выборки.

Вероятность того, что генеральная средняя находится в определенных границах, определяется по формуле

где - значение функции Стьюдента.

Для расчета коэффициента доверия определяют значение функции по формуле:

Затем по таблице распределения Стьюдента (см. приложение 4) в зависимости от значения функции и числа степеней определяют значение .

Функция используется также для определения вероятностей того, что фактическое нормированное отклонение не превзойдет табличное значение.

Тема 7. Статистическое изучение взаимосвязи : Понятие статистической связи. Виды и формы статистической связи. Задачи статистического изучения взаимосвязи явлений. Особенности связей социально-экономических явлений. Основные методы статистического изучения связей.

Корреляционная связь –связь, проявляющаяся не в каждом отдельном случае, а в массе случаев в средних величинах в форме тенденции.

Статистическое исследование ставит своей конечной целью получение модели зависимости для ее практического использования. Решение этой задачи осуществляется в следующей последовательности.

1. Логический анализ сущности изучаемого явления и причинно-следственных связей. В результате устанавливаются результативный показатель (у), факторы его изменения, характеризуемые показателями (х { , х 2 , х 3 , ..., х„). Связь двух признаков (у и х) называется парной корреляцией . Влияние нескольких факторов на результативный признак называется множественной корреляцией .

По общему направлению связи могут быть прямые и обратные . При прямых связях с увеличением признака x увеличиваетcя и признак у, при обратных - с увеличением признака х признак у уменьшается.

2. Сбор первичной информации и проверка ее на однородность и нормальность распределения. Для оценки однородности совокупности используется коэффициент вариации по факторным признакам

Совокупность считается однородной, если коэффициент вариации не превышает 33%. Проверка нормальности распределения исследуемых факторных признаков (х { , х 2 , х 3 , ..., х„) проводится с помощью правила «трех сигм». Результаты проверки на нормальность распределения следует представлять в табличной форме.

Статистика малых выборок (small-sample statistics)

Принято считать, что начало С. м. в. или, как ее часто называют, статистике «малых п», было положено в первом десятилетии XX века публикацией работы У. Госсета, в к-рой он поместил t-распределение, постулированное получившим чуть позже мировую известность «студентом». В то время Госсет работал статистиком на пивоваренных заводах Гиннесса. Одна из его обязанностей заключалась в том, чтобы анализировать поступающие друг за другом партии бочонков только что сваренного портера. По причине, к-рую он никогда толком не объяснял, Госсет экспериментировал с идеей существенного сокращения числа проб, отбираемых из очень большого количества бочек, находящихся на складах пивоварни, для выборочного контроля качества портера. Это и привело его к постулированию t-распределения. Так как устав пивоваренных заводов Гиннесса запрещал публикацию их работниками результатов исслед., Госсет опубликовал результаты своего эксперимента по сравнению выборочного контроля качества с использованием t-распределения для малых выборок и традиционного z-распределения (нормального распределения) анонимно, под псевдонимом «Студент» (Student - откуда и пошло название t -распределение Стьюдента).

t-распределение. Теория t-распределения, подобно теории z-распределения, используется для проверки нулевой гипотезы о том, что две выборки представляют собой просто случайные выборки из одной генеральной совокупности и, следовательно, вычисленные статистики (напр., среднее и стандартное отклонение) яв-ся несмещенными оценками параметров генеральной совокупности. Однако, в отличие от теории нормального распределения, теория t-распределения для малых выборок не требует априорного знания или точных оценок математического ожидания и дисперсии генеральной совокупности. Более того, хотя проверка различия между средними двух больших выборок на статистическую значимость требует принципиального допущения о нормальном распределении характеристик генеральной совокупности, теория t-распределения не требует допущений относительно параметров.

Общеизвестно, что нормально распределенные характеристики описываются одной единственной кривой - кривой Гаусса, к-рая удовлетворяет следующему уравнению:

При t-распределении целое семейство кривых представлено следующей формулой:

Вот почему уравнение для t включает гамма-функцию, которая в математике означает, что при изменении п данному уравнению будет удовлетворять другая кривая.

Степени свободы

В уравнении для t буквой п обозначается число степеней свободы (df), сопряженных с оценкой дисперсии генеральной совокупности (S2), к-рая представляет собой второй момент любой производящей функции моментов, такой, напр., как уравнение для t-распределения. В С. число степеней свободы указывает на то, сколько характеристик осталось свободным после их частичного использования в конкретном виде анализа. В t-распределении одно из отклонений от выборочного среднего всегда фиксировано, так как сумма всех таких отклонений должна равняться нулю. Это сказывается на сумме квадратов при вычислении выборочной дисперсии как несмещенной оценки параметра S2 и ведет к тому, что df получается равным числу измерений минус единица для каждой выборки. Отсюда, в формулах и процедурах вычисления t-статистики для проверки нулевой гипотезы df = n - 2.

F-pacnpeделение. Проверяемая с помощью t-критерия нулевая гипотеза состоит в том, что две выборки были случайным образом извлечены из одной генеральной совокупности или же были случайно извлечены из двух разных совокупностей с одинаковой дисперсией. А что делать, если нужно провести анализ большего числа групп? Ответ на этот вопрос искали в течение двадцати лет после того, как Госсет открыл t-распределение. Два самых выдающихся статистика XX столетия непосредственно причастны к его получению. Один - крупнейший английский статистик Р. А. Фишер, предложивший первые теорет. формулировки, развитие к-рых привело к получению F-распределения; его работы по теории малых выборок, развивающие идеи Госсета, были опубликованы в середине 20-х годов (Fisher, 1925). Другой - Джордж Снедекор, один из плеяды первых американских статистиков, разработавший способ сравнения двух независимых выборок любого объема посредством вычисления отношения двух оценок дисперсии. Он назвал это отношение F-отношением, в честь Фишера. Результаты исслед. Снедекора привели к тому, что F-распределение стало задаваться как распределение отношения двух статистик с2, каждой со своими степенями свободы:

Из этого вышли классические работы Фишера по дисперсионному анализу - статистическому методу, явно ориентированному на анализ малых выборок.

Выборочное распределение F (где п = df) представлено следующим уравнением:

Как и в случае t-распределения, гамма-функция указывает на то, что существует семейство распределений, удовлетворяющих уравнению для F. В этом случае, однако, анализ включает два величины df: число степеней свободы для числителя и для знаменателя F-отношения.

Таблицы для оценивания t- и F-статистик. При проверке нулевой гипотезы с помощью С., основанных на теории больших выборок, обычно требуется только одна справочная таблица - таблица нормальных отклонений (z), позволяющая определить площадь под нормальной кривой между любыми двумя значениями z на оси абсцисс. Однако таблицы для t- и F-распределений по необходимости представлены комплектом таблиц, поскольку эти таблицы основаны на множестве распределений, полученных вследствие варьирования числа степеней свободы. Хотя t- и F-распределения представляют собой распределения плотности вероятности, как и нормальное распределение для больших выборок, они отличаются от последнего в отношении четырех моментов, используемых для их описания. t-распределение, напр., является симметричным (обратите внимание на t2 в его уравнении) при всех df, но становится все более островершинным по мере уменьшения объема выборки. Островершинные кривые (с эксцессом больше нормального) имеют тенденцию быть менее асимптотическими (т. е. меньше приближаться к оси абсцисс на концах распределения), чем кривые с нормальным эксцессом, такие как кривая Гаусса. Это различие приводит к заметным расхождениям между точками на оси абсцисс, соответствующими значениям t и z. При df = 5 и двустороннем уровне а, равном 0,05, t = 2,57, тогда как соответствующее z = 1,96. Следовательно, t = 2,57 свидетельствует о статистической значимости на 5% уровне. Однако в случае нормальной кривой z = 2,57 (точнее 2,58) будет уже указывать на 1% уровень статистической значимости. Аналогичные сравнения можно провести и с F-распределением, поскольку t равно F в случае, когда число выборок равно двум.

Что составляет «малую» выборку?

В свое время был поднят вопрос о том, какой объем должна иметь выборка, чтобы ее можно было считать малой. Определенного ответа на этот вопрос просто не существует. Однако условной границей между малой и большой выборкой принято считать df = 30. Основанием для этого в какой-то мере произвольного решения служит результат сравнения t-распределения с нормальным распределением. Как уже отмечалось выше, расхождение значений t и z имеет тенденцию возрастать с уменьшением и снижаться с увеличением df. Фактически, t начинает тесно приближаться к z задолго до предельного случая, когда t = z при df = ∞. Простое визуальное изучение табличных значений t позволяет увидеть, что это приближение становиться довольно быстрым, начиная с df = 30 и выше. Сравнительные величины t (при df = 30) и z равны соответственно: 2,04 и 1,96 для р = 0,05; 2,75 и 2,58 для р = 0,01; 3,65 и 3,29 для р = 0,001.

Другие статистики для «малых» выборок

Хотя такие статистические критерии, как t и F, специально разработаны для применения к малым выборкам, они в равной степени применимы и к большим выборкам. Существует, однако, множество др. статистических методов, предназначенных для анализа малых выборок и часто используемых именно для этой цели. Имеются в виду т. н. непараметрические или свободные от распределения методы. В основном, фигурирующие в этих методах С. предназначены для применения к измерениям, полученным с помощью шкал, не удовлетворяющих определению шкал отношений или интервалов. Чаще всего это порядковые (ранговые) или номинальные измерения. Непараметрические С. не требуют предположений в отношении параметров распределения, в частности, в отношении оценок дисперсии, потому что порядковые и номинальные шкалы исключают само понятие дисперсии. По этой причине непараметрические методы используются также для измерений, полученных с помощью интервальных шкал и шкал отношений, когда анализируются малые выборки и существует вероятность того, что нарушаются основные предположения, необходимые для применения параметрических методов. К числу таких С., к-рые можно обоснованно применять к малым выборкам, относятся: критерий точной вероятности Фишера, двухфакторный непараметрический (ранговый) дисперсионный анализ Фридмана, коэффициент ранговой корреляции t Кендалла, коэффициент конкордации (W) Кендалла, H-критерий Краскела - Уоллеса для непараметрического (рангового) однофакторного дисперсионного анализа, U-критерий Манна-Уитни, медианный критерий, критерий знаков, коэффициент ранговой корреляции r Спирмена и t-критерий Уилкоксона.

Под малой выборкой понимается несплошное статистическое обследование, при котором выборочная совокупность образуется из сравнительно небольшого числа единиц генеральной совокупности. Объем малой выборки обычно не превышает 30 единиц и может доходить до 4 - 5 единиц.

Средняя ошибка малой выборки вычисляется по формуле:

где
- дисперсия малой выборки.

При определении дисперсии число степеней свободы равно n-1:

Предельная ошибка малой выборки
определяется по формуле

При этом значение коэффициента доверия t зависит не только от заданной доверительной вероятности, но и от численности единиц выборки n. Для отдельных значений t и n доверительная вероятность малой выборки определяется по специальным таблицам Стьюдента (Табл. 9.1.), в которых даны распределения стандартизированных отклонений:

Поскольку при проведении малой выборки в качестве доверительной вероятности практически принимается значение 0,59 или 0,99, то для определения предельной ошибки малой выборки
используются следующие показания распределения Стьюдента:

Способы распространения характеристик выборки на генеральную совокупность.

Выборочный метод чаще всего применяется для получения характеристик генеральной совокупности по соответствующим показателям выборки. В зависимости от целей исследований это осуществляется или прямым пересчётом показателей выборки для генеральной совокупности, или посредством расчёта поправочных коэффициентов.

Способ прямого пересчёта. Он состоит в том, что показатели выборочной долиили среднейраспространяется на генеральную совокупность с учётом ошибки выборки.

Так, в торговле определяется количество поступивших в партии товара нестандартных изделий. Для этого (с учётом принятой степени вероятности) показатели доли нестандартных изделий в выборке умножаются на численность изделий во всей партии товара.

Способ поправочных коэффициентов . Применяется в случаях, когда целью выборочного метода является уточнение результатов сплошного учета.

В статистической практике этот способ используется при уточнении данных ежегодных переписей скота, находящегося у населения. Для этого после обобщения данных сплошного учета практикуется 10%-ное выборочное обследование с определением так называемого “процента недоучета”.

Способы отбора единиц из генеральной совокупности.

В статистике применяются различные способы формирования выборочных совокупностей, что обусловливается задачами исследования и зависит от специфики объекта изучения.

Основным условием проведения выборочного обследования является предупреждение возникновения систематических ошибок, возникающих вследствие нарушения принципа равных возможностей попадания в выборку каждой единицы генеральной совокупности. Предупреждение систематических ошибок достигается в результате применения научно обоснованных способов формирования выборочной совокупности.

Существуют следующие способы отбора единиц из генеральной совокупности:

1) индивидуальный отбор - в выборку отбираются отдельные единицы;

2) групповой отбор - в выборку попадают качественно однородные группы или серии изучаемых единиц;

3) комбинированный отбор - это комбинация индивидуального и группового отбора.

Способы отбора определяются правилами формирования выборочной совокупности.

Выборка может быть:

Собственно-случайная;

Механическая;

Типическая;

Серийная;

Комбинированная.

Собственно-случайная выборка состоит в том, что выборочная совокупность образуется в результате случайного (непреднамеренного) отбора отдельных единиц из генеральной совокупности. При этом количество отобранных в выборочную совокупность единиц обычно определяется исходя из принятой доли выборки.

Доля выборки есть отношение числа единиц выборочной совокупности n к численности единиц генеральной совокупности N, т.е.

Так, при 5%-ной выборке из партии товара в 2 000 ед. численность выборки n составляет 100 ед. (5*2000:100), а при 20%-ной выборке она составит 400 ед. (20*2000:100) и т.д.

Механическая выборка состоит в том, что отбор единиц в выборочную совокупность производится из генеральной совокупности, разбитой на равные интервалы (группы). При этом размер интервала в генеральной совокупности равен обратной величине доли выборки.

Так, при 2%-ной выборке отбирается каждая 50-я единица (1:0,02), при 5%-ной выборке - каждая 20-я единица (1:0,05) и т.д.

Таким образом, в соответствии с принятой долей отбора, генеральная совокупность как бы механически разбивается на равновеликие группы. Из каждой группы в выборку отбирается лишь одна единица.

Важной особенностью механической выборки является то, что формирование выборочной совокупности можно осуществить, не прибегая к составлению списков. На практике часто используют тот порядок, в котором фактически размещаются единицы генеральной совокупности. Например, последовательность выхода готовых изделий с конвейера или поточной линии, порядок размещения единиц партии товара при хранении, транспортировке, реализации и т.д.

Типическая выборка. При типической выборке генеральная совокупность вначале расчленяется на однородные типические группы. Затем из каждой типической группы собственно-случайной или механической выборкой производится индивидуальный отбор единиц в выборочную совокупность.

Типическая выборка обычно применяется при изучении сложных статистических совокупностей. Например, при выборочном обследовании производительности труда работников торговли, состоящих из отдельных групп по квалификации.

Важной особенностью типической выборки является то, что она дает более точные результаты по сравнению с другими способами отбора единиц в выборочную совокупность.

Для определения средней ошибки типической выборки используются формулы:

повторный отбор

бесповторный отбор

Дисперсия определяется по следующим формулам:

При одноступенчатой выборке каждая отобранная единица сразу же подвергается изучению по заданному признаку. Так обстоит дело при собственно-случайной и серийной выборке.

При многоступенчатой выборке производят подбор из генеральной совокупности отдельных групп, а из групп выбираются отдельные единицы. Так производится типическая выборка с механическим способом отбора единиц в выборочную совокупность.

Комбинированная выборка может быть двухступенчатой. При этом генеральная совокупность сначала разбивается на группы. Затем производят отбор групп, а внутри последних осуществляется отбор отдельных единиц.

Средняя ошибка малой выборки вычисляется по формуле:

где
- дисперсия малой выборки.

При определении дисперсии число степеней свободы равно n-1:

Предельная ошибка малой выборки
определяется по формуле

При этом значение коэффициента доверия t зависит не только от заданной доверительной вероятности, но и от численности единиц выборки n. Для отдельных значений t и n доверительная вероятность малой выборки определяется по специальным таблицам Стьюдента (Табл. 9.1.), в которых даны распределения стандартизированных отклонений: