Определение аномальных значений совокупностей

Неоднородные совокупности следует проверить на наличие «выбросов».

«Выбросы» – это нетипичные или редкие значения, которые существенно отклоняются от распределения остальных выборочных данных. Эти данные могут отражать истинные свойства изучаемого явления (переменной), а могут быть связаны с ошибками измерения или аномальными явлениями и поэтому не должны включаться в модель. Визуально «выбросы» можно проследить на графике. Для этого необходимо построить линейный график, ось абсцисс которого – название регионов, ось ординат – значения показателя (рис. 36).

Рисунок 36. График определения аномальных значений совокупности «сверху»

Получаем график, визуальный анализ которого позволяет сделать вывод о регионах - точках «выбросов» по данному показателю. В нашем случае это г. Москва, так как значение этого показателя выше верхней границы.

Аналитически (один из простейших способов) «выбросы» определяются с помощью следующего правила: значение может быть отброшено, если оно лежит вне области X_ср. ± 4 . Причем среднее значение и стандартное отклонение рассчитывается без учета экстремальных значений (в нашем случае без значения г. Москвы).

Пример. Определим, является ли значение среднедушевых доходов г. Москвы аномальным для рассматриваемой совокупности регионов. Зная значение «аномальной» точки, определим верхнюю допустимую границу. Все расчеты оформим в виде таблицы (рис. 37). Заполнение ее будет состоять из следующих этапов:

1. Определить числовое значение показателя, соответствующего точке выброса (максимальное или минимальное значение по столбцу).

2. Рассчитать среднее значение показателя без учета точки выброса с помощью формулы:

=(СУММ($C$3:$C$81)-$C$20)/(СЧЕТ($C$3:$C$81)-1).

3. Найти квадрат отклонения текущих значений от среднего (без учета значения г. Москвы), например для Белгородской области, с помощью формулы: =(C3-$D$3) ^2.

4. Определить среднеквадратическое отклонение признака без учета точки выброса с помощью формулы:

КОРЕНЬ((СУММ($E$3: $E$81)/СЧЕТ($E$3:$E$81))),

включив ее в формулу расчета верхней и нижней границ допустимых интервалов соответственно:

=D3+4*КОРЕНЬ((СУММ($E$3:$E$81)/СЧЕТ($E$3:$E$81))) – для верхней границы;

=D3-4*КОРЕНЬ((СУММ($E$3:$E$81)/СЧЕТ($E$3:$E$81))) – для нижней.

Рисунок 37. Фрагмент таблицы в режиме формул определения допустимых границ значений показателей

В режиме значений таблица дана на рис. 38.

Рисунок 38. Фрагмент таблицы в режиме «значений» определения допустимых границ показателей

Для определения того, является ли значение г. Москвы точкой «выброса», введем логическую функцию, например в ячейку D86:

=ЕСЛИ(C20>F3; «аномальное значение»; «значение принадлежит совокупности»), где С20 – ячейка, содержащая среднедушевые доходы г. Москвы; F3 – ячейка, содержащая верхние допустимые границы.

В нашем случае в ячейке «результат» будет сообщение: аномальное значение. Следовательно, при проведении корреляционно-регрессионного анализа необходимо значение г. Москвы исключить из совокупности, например, сформировав новую таблицу с помощью расширенного фильтра.

Следующий этап разведочного анализа – определение характера распределения совокупности значений данных визуально с помощью построения гистограмм.