Оглавление:
Определение - Что означает обнаружение выбросов?
Обнаружение выбросов - это процесс обнаружения и последующего исключения выбросов из заданного набора данных.
Выброс может быть определен как фрагмент данных или наблюдения, который резко отличается от заданной нормы или среднего значения набора данных. Выброс может быть вызван просто случайностью, но он также может указывать на ошибку измерения или на то, что данный набор данных имеет распределение с тяжелыми хвостами.
Вот простой сценарий обнаружения выбросов: процесс измерения постоянно дает показания от 1 до 10, но в некоторых редких случаях мы получаем измерения более 20.
Эти редкие измерения, выходящие за пределы нормы, называются выбросами, поскольку они «лежат вне» кривой нормального распределения.
Техопедия объясняет обнаружение выбросов
На самом деле не существует стандартизированного и жесткого математического метода для определения выброса, поскольку он действительно варьируется в зависимости от набора или совокупности данных, поэтому его определение и обнаружение в конечном итоге становятся субъективными. Посредством непрерывной выборки в заданном поле данных могут быть установлены характеристики выброса, чтобы облегчить обнаружение.
Существуют основанные на модели методы обнаружения выбросов, и они предполагают, что все данные взяты из нормального распределения и идентифицируют наблюдения или точки, которые считаются маловероятными на основе среднего или стандартного отклонения, в качестве выбросов. Существует несколько методов обнаружения выбросов:
- Тест Грабба на выбросы - это основано на предположении, что данные имеют нормальное распределение, и удаляет по одному выбросу за раз с повторением теста до тех пор, пока не будет найдено больше выбросов.
- Q-тест Диксона - также основанный на нормальности набора данных, этот метод проверяет неверные данные. Было отмечено, что это должно использоваться экономно и не более одного раза в наборе данных.
- Критерий Шовене - используется для анализа того, является ли выброс ложным или все еще находится в пределах границ и рассматривается как часть набора. Считается среднее значение и стандартное отклонение, и рассчитывается вероятность возникновения выброса. Результаты определят, следует ли это включить или нет.
- Критерий Пирса - для серии наблюдений устанавливается предел ошибки, после которого все наблюдения будут отбрасываться, поскольку они уже содержат такую большую ошибку.
