Аннотация:Алгоритмическая реализация принципа проверки обоснованности модели в задачах восстановления зависимостей требует вычисления смеси условных распределений целевой переменной модели (marginal likelihood) относительно ее параметра, априорное распределение которого играет роль регуляризующего смешивающего распределения. Обобщенный линейный подход к восстановлению зависимостей основан на понимании этого параметра как точки в том же линейном пространстве, в котором представлены объекты реального мира. Это позволяет без потери общности ограничиться классом смешивающих априорных распределений, построенных на основе нормального распределения Однако параметрическое семейство смешиваемых распределений не может быть унифицировано для всех видов целевой переменной, и вычисление показателя обоснованности остается задачей, традиционно квалифицируемой как алгоритмически трудная. Обсуждаемый универсальный метод итерационной максимизации показателя обоснованности использует классический ЕМ (expectation-maximization) принцип максимизации правдоподобия смеси распределений. В частности, в задачах линейной регрессии, распознавания образов и оценивая продолжительности жизни метод позволяет находить наиболее обоснованную размерность базиса в линейном пространстве наблюдений без перебора всех значений размерности, как в популярном методе Regularization Path [1].
Работа поддержана грантом РФФИ № 14-07-00661.