Сравнение нескольких классификаторов: Nemenyi + Holm Test в R -- r пол Связанный проблема

Comparing multiple classifiers: Nemenyi + Holm test in R


2
vote

проблема

русский

Я пытаюсь воспроизвести результаты из (1) в виде новичков до R. Таблица 6 - это AUCS из 4 классификатора на 14 наборах данных:

 <код> auc <- matrix(c(   0.763 , 0.768 , 0.771 , 0.798 ,   0.599 , 0.591 , 0.590 , 0.569 ,   0.954 , 0.971 , 0.968 , 0.967 ,   0.628 , 0.661 , 0.654 , 0.657 ,   0.882 , 0.888 , 0.886 , 0.898 ,   0.936 , 0.931 , 0.916 , 0.931 ,   0.661 , 0.668 , 0.609 , 0.685 ,   0.583 , 0.583 , 0.563 , 0.625 ,   0.775 , 0.838 , 0.866 , 0.875 ,   1.000 , 1.000 , 1.000 , 1.000 ,   0.940 , 0.962 , 0.965 , 0.962 ,   0.619 , 0.666 , 0.614 , 0.669 ,   0.972 , 0.981 , 0.975 , 0.975 ,   0.957 , 0.978 , 0.946 , 0.970),   nrow = 14,   byrow = TRUE,   dimnames = list(1 : 14, c("C4.5", "C4.5+m", "C4.5+cf", "C4.5+m+cf")) )  Friedman chi-squared = 10.952, df = 3, p-value = 0.01199   

Статья говорит (стр. 13) Chi-Square = 9,28 и FF = 3.69. Где я получаю это значение из теста выше?

Следующий шаг - это nemenyi, для которого я использовал <код> PMCMR lib.

 <код> > library(PMCMR) > posthoc.friedman.nemenyi.test(auc)      Pairwise comparisons using Nemenyi multiple comparison test               with q approximation for unreplicated blocked data   data:  auc             C4.5  C4.5+m C4.5+cf C4.5+m    0.089 -      -       C4.5+cf   0.972 0.227  -       C4.5+m+cf 0.062 0.999  0.170    P value adjustment method: none   

Могу ли я получить критическое значение 2,569 и соответствующее критическое расстояние (CD) 1,25 от где-то?

Как я могу применить тест Holm?

(1) Демшар, Джанес. «Статистические сравнения классификаторов над несколькими наборами данных». Журнал изучения машинного обучения 7 (2006): 1-30.

Английский оригинал

I try to reproduce the results from (1) as a newbie to R. Table 6 are the AUCs of 4 classifier on 14 data sets:

auc <- matrix(c(   0.763 , 0.768 , 0.771 , 0.798 ,   0.599 , 0.591 , 0.590 , 0.569 ,   0.954 , 0.971 , 0.968 , 0.967 ,   0.628 , 0.661 , 0.654 , 0.657 ,   0.882 , 0.888 , 0.886 , 0.898 ,   0.936 , 0.931 , 0.916 , 0.931 ,   0.661 , 0.668 , 0.609 , 0.685 ,   0.583 , 0.583 , 0.563 , 0.625 ,   0.775 , 0.838 , 0.866 , 0.875 ,   1.000 , 1.000 , 1.000 , 1.000 ,   0.940 , 0.962 , 0.965 , 0.962 ,   0.619 , 0.666 , 0.614 , 0.669 ,   0.972 , 0.981 , 0.975 , 0.975 ,   0.957 , 0.978 , 0.946 , 0.970),   nrow = 14,   byrow = TRUE,   dimnames = list(1 : 14, c("C4.5", "C4.5+m", "C4.5+cf", "C4.5+m+cf")) )  Friedman chi-squared = 10.952, df = 3, p-value = 0.01199 

The paper says (page 13) chi-square = 9.28 and FF=3.69. Where do I get this value from the test above?

Next step is the Nemenyi for which I used the PMCMR lib.

> library(PMCMR) > posthoc.friedman.nemenyi.test(auc)      Pairwise comparisons using Nemenyi multiple comparison test               with q approximation for unreplicated blocked data   data:  auc             C4.5  C4.5+m C4.5+cf C4.5+m    0.089 -      -       C4.5+cf   0.972 0.227  -       C4.5+m+cf 0.062 0.999  0.170    P value adjustment method: none 

Can I get the critical value of 2.569 and the corresponding critical distance (CD) of 1.25 from somewhere?

How can I apply the Holm test?

(1) Demšar, Janez. "Statistical comparisons of classifiers over multiple data sets." The Journal of Machine Learning Research 7 (2006): 1-30.

</div
  
   
   

Список ответов

Связанный проблема

2  Вопросы с установкой пакета Caret of R в Archlinux  ( Issues with installing caret package of r in archlinux ) 
Я пытаюсь установить пакет <код> SCRIPT="""UPDATE IND_AFRO.DRIVER SET Emp_Id = 1000, update_user_id = 'RIBST-4059' WHERE Emp_Id IN (SELECT Emp_Id ...

1  Замените отсутствующие значения в ячейке со значением из ячейки выше (N-1) с помощью петли  ( Replace missing values in a cell with a value from the cell above n 1 using a ) 
У меня есть файл данных с тысячами строк, у которых есть пробелы, которые я хочу заполнить значением. Мне нужно заменить пустые ячейки со значениями из них вы...

2  Package Desolve Package Can Parames включают в себя матрицу?  ( Desolve package can parameters include a matrix ) 
Я пытаюсь кодировать модель Seir, которая является возрастной, стратифицированной; То есть в моих дифференциальных уравнениях у меня есть параметр для массово...

1  Как избежать проблемы Log-Quartelive Log-Inf в MLE Function из пакета Stat4?  ( How to avoid the inf log likelihood problem in mle function from stat4 package ) 
Я хочу максимизировать функцию вероятности логики, чтобы соответствовать некоторым данным, но функция MLE останавливается с этой ошибкой, когда логическая вер...

1  Есть ли не-Java внедрение регрессионной модели M5P библиотеки RWEKA?  ( Is there a non java implementation of the m5p regression model of the rweka libr ) 
Я ищу функцию, которая создает модель регрессии M5P, как <код> M5P функция <код> RWeka библиотеки (как <код> M5P функция на основе кода Java, который имеет...

0  Извлечение данных из нижних слоев в растробрике  ( Extracting data from lower layers in a rasterbrick ) 
Итак, я извлекаю данные из растробрика, который я сделал, используя метод из этого вопроса: Как извлечь данные из растробрика? В дополнение к получению да...

99  Как выбрать строку с максимальным значением в каждой группе  ( How to select the row with the maximum value in each group ) 
В наборе данных с несколькими наблюдениями для каждого предмета я хочу взять подмножество только с максимальным значением данных для каждой записи. Например, ...

6  403 Ошибка при использовании Rvest для входа в веб-сайт для соскабливания  ( 403 error when using rvest to log into website for scraping ) 
Я пытаюсь высказать страницу на веб-сайте, который требует входа в систему и в целом получение ошибки 403. Я изменил код из этих 2 сообщений для моего сайта...

0  Ошибка при использовании списков  ( Error when using lists ) 
У меня есть файл .rdata со списком внутри. Однако я получаю сообщение об ошибке при попытке отобразить список. <код> ls(data$Test$t0) Error in list2env(lis...

0  Как сделать бесконечно рекурсивный список в R: путать [и [[  ( How to make an infinitely recursive list in r confuse and ) 
Редактировать: Этот вопрос глупо, я путающую [и [((спасибо @josilber), но я не могу удалить его. Как можно сделать бесконечно рекурсивный список, l == l [1]...

5  Расчет дней в месяц между интервалом двух дат  ( Calculating days per month between interval of two dates ) 
У меня есть набор событий, которые каждый из которых имеет начало и окончание, но они проходят по объему ряда месяцев. Я хотел бы создать таблицу, которая пок...

0  Hexfile Package R  ( Hexfile package r ) 
Я пытаюсь импортировать файл eviews (.wf1) в <код> R с hexView пакет. код: <код> file = readEViews(hexViewFile("eviewsr.wf1"),as.data.frame = TRUE) ...

0  Скрепление финансовых таблиц с веб-страницы с R, Rvest, RCURL  ( Scraping financial tables from web page with r rvest rcurl ) 
Я пробую разбор финансовых таблиц с веб-страницы. Я продолжал. Но я не могу устраивать список, или данные. Карамент <код> library(rvest) link <- "http://www...

2  dlyryr "не обещание" ошибка  ( Dplyr not a promise error ) 
У меня есть набор набора панели, для которого я создал отсталые переменные с помощью функции LAG (). Когда я пытаюсь рассчитать дельта для каждого TimePoint, ...

0  Интеллектуальный способ создать сводную таблицу без цикла в R  ( Intelligent way to create summary table without for loop in r ) 
Добрый день, У меня есть кадр данных следующим образом, с временным меттом в первом столбце, как POSIXLT, а значение данных во втором: <код> properties2 ...

Связанный проблема

2  Вопросы с установкой пакета Caret of R в Archlinux 
1  Замените отсутствующие значения в ячейке со значением из ячейки выше (N-1) с помощью петли 
2  Package Desolve Package Can Parames включают в себя матрицу? 
1  Как избежать проблемы Log-Quartelive Log-Inf в MLE Function из пакета Stat4? 
1  Есть ли не-Java внедрение регрессионной модели M5P библиотеки RWEKA? 
0  Извлечение данных из нижних слоев в растробрике 
99  Как выбрать строку с максимальным значением в каждой группе 
6  403 Ошибка при использовании Rvest для входа в веб-сайт для соскабливания 
0  Ошибка при использовании списков 
0  Как сделать бесконечно рекурсивный список в R: путать [и [[ 
5  Расчет дней в месяц между интервалом двух дат 
0  Hexfile Package R 
0  Скрепление финансовых таблиц с веб-страницы с R, Rvest, RCURL 
2  dlyryr "не обещание" ошибка 
0  Интеллектуальный способ создать сводную таблицу без цикла в R 



© 2021 www.qaru.top All Rights Reserved. Q&A House все права защищены


Licensed under cc by-sa 3.0 with attribution required.