Нові тенденції у доказовій статистиці: проблеми імпутації даних

Анотація

Проведено порівняльний аналіз результатів застосування різних методів імпутації на прикладі вибірки, для якої симульовані різні варіанти пропусків даних. При 10% повністю випадкових пропусків оцінки параметрів і p-value для двох факторів, отримані у результаті застосування першої групи методів, наближені до результатів, одержаних на повних даних. Середньоквадратичні помилки, розраховані за методом безумовного середнього і методом заповнення пропусків з послідовним підбором, близькі до результатів, отриманих на оригінальних даних, всі інші методи завищували цю оцінку. Найбільш схожим з вихідними даними був коефіцієнт детермінації при застосуванні методу заповнення пропусків з послідовним підбором.

При 25% повністю випадкових пропусків для коефіцієнта детермінації найменша оцінка була при застосуванні методу заповнення безумовним середнім значенням, а переоцінка була найнижчою при методі заповнення пропусків з послідовним підбором. З іншими підходами зміна була мінімальною. Отже, отримані оцінки параметрів і p-value в результаті застосування методу аналізу наявних випадків були більше наближені до значень, отриманих при побудові регресії на повних даних. При 50% таких пропусків фактор ваги став незначним при застосуванні методу аналізу повних спостережень. Найбільш точна оцінка змінної була отримана за методом умовного середнього, найменш схожою – послідовним підбором. Також можна виділити метод заповнення безумовним середнім, результати застосування якого були найбільш наближені до первинних даних.

За результатами імпутації 10% і 50% випадково пропущених даних кожним способом зміна в оцінці параметрів для вільного члена і двох інших факторів була мінімальною. Саме при застосуванні методу множинної імпутації середньоквадратична помилка і коефіцієнт детермінації були максимально близькі до результатів, отриманих на основі повних даних.

Проведене дослідження надало можливість виявити слабкі та сильні сторони кожного методу імпутації даних за повністю випадкових та випадкових пропусків, а також визначити ефективність застосування того чи іншого методу при різних частках пропущеної інформації. Дослідження безперечно довело той факт, що до процесу імпутації слід підходити дуже обережно і проблема імпутації має вирішуватися в кожному конкретному випадку на основі ретельного аналізу існуючої бази даних з урахуванням не тільки особливостей самих даних і обсягу пропусків, а й специфіки конкретного дослідження.