Специфичният статистически анализ на експерименталните данни следва процес от четири-стъпки: „Пълно записване на необработените данни → Ръчно етикетиране и класифициране → Изчисляване на основните индикатори → Проверка на значимостта“. Всяка стъпка е практична и гарантира строги и надеждни статистически резултати:
Стъпка 1: Пълно записване на необработени данни (без загуба на информация)
След като експериментът започне, всяка точка от данни се записва в следния формат. Препоръчително е да го експортирате като CSV/Excel таблица:
Време за запис на таблица Етап на процеса СензорA Сензор за необработена стойностB Алгоритъм за необработена стойност Изходно отклонение Задействана аларма Забележки (ръчно етикетиране)
2026-xx-xx xx:xx Инжекция 12.352 12.358 0.006 Да Реална повреда/Фалшива аларма
Правила за записване:
Всеки път, когато алгоритъмът задейства аларма, тя трябва да бъде записана 100% без пропуски;
По време на нормално производство без аларми е необходимо само да се записват данните за отклонението веднъж на всеки час (за последващи 3σ статистики не е необходимо да се съхраняват всички данни);
По време на тестване със симулация на повреда, времето за инжектиране на повреда трябва да се запише отделно за изчисляване на забавянето на реакцията.
Стъпка 2: Ръчна класификация (разграничаване на истинските от фалшивите аларми)
След като всички записи на аларми са завършени, ръчно ги класифицирайте един по един:
|
Тип аларма |
Критерии за преценка |
|
Истинска аларма (TP) |
Съществува истинска повреда на сензора/отклонение при монтажа/превишаване на допустимото отклонение (потвърдено след смяна и проверка) или истинска повреда е инжектирана ръчно. |
|
Фалшива тревога (FP) |
Аларма се задейства единствено поради смущения/флуктуации, въпреки че сензорът и инсталацията са нормални. |
|
Пропусната аларма (FN) |
Съществува истинска грешка (ръчно инжектирана или действително потвърдена), но алгоритъмът не е задействал аларма. |
Забележка: За пропуснати аларми трябва да се броят само „известните истински грешки“; случаите без грешки не е необходимо да се броят. Просто пребройте "броя пъти, когато известна грешка не е задействала аларма."
Стъпка 3: Количествено изчисляване на основните показатели
Изчислете четирите основни индикатора, като използвате следните формули и директно сравнете резултатите:
1. Честота на фалшиви аларми (повечето ядро)
Процент на фалшиви аларми=Общ брой аларми (TP + FP) / Фалшиви аларми (FP) × 100%
Пример: общо 20 аларми, 3 от които са фалшиви, процент на фалшиви аларми=3/20=15%
2. Процент на фалшиви аларми
Процент на фалшиви аларми=Общо действителни повреди (TP + FN) / фалшиви аларми (FN) × 100%
Пример: Инжектирани са 10 действителни грешки, 0 са фалшиви аларми, процент на фалшиви аларми=0%
3. Средно забавяне на реакцията
За всяка действителна аларма изчислете времето на алармата - времето за поява на повреда, за да получите закъснението при един-опит. След това вземете средната стойност на всички забавяния при един-опит, за да получите средното забавяне на отговора.
4. Дългосрочна-стабилност (честота на промяна на скоростта на фалшива аларма)
Честота на промяна на честотата на фалшиви аларми=|Процент на фалшиви аларми след 3 месеца - Първоначална честота на фалшиви аларми|
Пример: Първоначален процент на фалшиви аларми 2%, процент на фалшиви аларми след 3 месеца 2,8%, процент на промяна=0.8%, отговаря на отличния стандарт
Стъпка 4: Проверка на значимостта на резултата (избягване на случайни грешки)
Ако разликата между двете групи проценти на фалшиви аларми не е значителна, използвайте теста хи-квадрат, за да проверите дали разликата е произволна:
Изчислете стойността на хи-квадрат. Ако p < 0,05, това означава, че намаляването на честотата на фалшиви аларми на оптимизирания алгоритъм е реално и ефективно, а не е случайна флуктуация; ако p > 0,05, това означава, че разликата не е значима и периодът на тестване трябва да бъде удължен преди допълнителни статистики.
Ако не сте запознати с теста хи-квадрат, можете директно да погледнете „процента на намаляване на честотата на фалшивите аларми“: Ако честотата на фалшивите аларми на оптимизирания алгоритъм е намалена с По-голямо или равно на 60% в сравнение с оригиналния алгоритъм, може да се определи, че производителността е по-добра и достатъчна за инженерни сценарии.
