Adaptative Monte-Carlo methods for complex models - Equipe Signal, Statistique et Apprentissage Accéder directement au contenu
Thèse Année : 2021

Adaptative Monte-Carlo methods for complex models

Méthodes de Monte-Carlo adaptatives pour les modèles complexes

Résumé

This thesis lies in the field of Statistical Inference and more precisely in Bayesian Inference, where the goal is to model a phenomenon given some data while taking into account prior knowledge on the model parameters.The availability of large datasets sparked the interest in using complex models for Bayesian Inference tasks that are able to capture potentially complicated structures inside the data. Such a context requires the development and study of adaptive algorithms that can efficiently process large volumes of data when the dimension of the model parameters is high.Two main classes of methods attempt to fulfil this role: sampling-based Monte Carlo methods and optimisation-based Variational Inference methods. By relying on the optimisation literature and more recently on Monte Carlo methods, the latter have made it possible to construct fast algorithms that overcome some of the computational hurdles encountered in Bayesian Inference.Yet, the theoretical results and empirical performances of Variational Inference methods are often impacted by two factors: one, an inappropriate choice of the objective function appearing in the optimisation problem and two, a search space that is too restrictive to match the target at the end of the optimisation procedure.This thesis explores how we can remedy the two issues mentioned above in order to build improved adaptive algorithms for complex models at the intersection of Monte Carlo and Variational Inference methods.In our work, we suggest selecting the alpha-divergence as a more general class of objective functions and we propose several ways to enlarge the search space beyond the traditional framework used in Variational Inference. The specificity of our approach in this thesis is then that it derives numerically advantageous adaptive algorithms with strong theoretical foundations, in the sense that they provably ensure a systematic decrease in the alpha-divergence at each step. In addition, we unravel important connections between the sampling-based and the optimisation-based methodologies.
Cette thèse s'inscrit dans le domaine de l'Inférence Statistique et plus précisément dans le cadre de l'Inférence Bayésienne, dont le but est de modéliser un phénomène à partir d'un jeu de données tout en incorporant des connaissances a priori sur les paramètres de ce modèle. L'émergence des données massives nécessite le recours à des modèles bayésiens complexes à même de décrire la structure de ces données. De tels modèles requièrent à leur tour la construction et l'étude d'algorithmes adaptatifs capables de traiter de larges volumes de données lorsque les paramètres du modèle choisi évoluent dans un espace en grande dimension. Deux catégories principales de méthodes tentent de répondre à cette problématique : les méthodes de Monte Carlo, s'appuyant sur de l'échantillonnage, et les méthodes d'Inférence Variationnelle, reposant sur de l'optimisation. En faisant appel à la littérature de l'optimisation et plus récemment aux méthodes de Monte Carlo, des avancées majeures en Inférence Variationnelle ont permis de lever une partie des obstacles computationnels rencontrés en Inférence Bayésienne.Toutefois, les résultats théoriques et empiriques des méthodes d'Inférence Variationnelle sont souvent affectés par : (i) un choix inapproprié de la fonction objectif apparaissant dans le problème d'optimisation et (ii) un espace de recherche ne contenant pas la cible car trop restreint. Dans cette thèse, nous cherchons à remédier aux deux difficultés susmentionnées en construisant des algorithmes adaptatifs applicables aux modèles complexes et se situant à l'intersection des méthodes de Monte Carlo et d'Inférence Variationnelle. Nos travaux suggèrent d'utiliser la alpha-divergence comme fonction objectif plus générale et proposent d'enrichir l'espace de recherche par-delà les schémas traditionnels utilisés en Inférence Variationnelle. La spécificité de notre approche réside dans l'obtention de nouveaux algorithmes avantageux d'un point de vue numérique et bénéficiant également de solides fondements théoriques, qui se manifestent au travers d'une décroissance systématique de la alpha-divergence à chaque étape de nos algorithmes. En outre, nos travaux mettent en lumière d'importants liens entre les méthodes de Monte Carlo et celles d'Inférence Variationnelle.
Fichier principal
Vignette du fichier
103956_DAUDEL_2021_archivage.pdf (3.32 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03500921 , version 1 (22-12-2021)

Identifiants

  • HAL Id : tel-03500921 , version 1

Citer

Kamélia Daudel. Adaptative Monte-Carlo methods for complex models. Statistics [math.ST]. Institut Polytechnique de Paris, 2021. English. ⟨NNT : 2021IPPAT024⟩. ⟨tel-03500921⟩
281 Consultations
191 Téléchargements

Partager

Gmail Facebook X LinkedIn More