Approximate computing for embedded machine learning - Département Communications et Electronique Accéder directement au contenu
Thèse Année : 2021

Approximate computing for embedded machine learning

Calcul approximatif pour l'apprentissage automatique embarqué

Résumé

Convolutional Neural Networks (CNNs) have been extensively used in many fields such as image recognition, video processing, and naturallanguage processing. However, CNNs are still computational-intensive and resource-consuming. They are often constrained by the limit performanceand memory when deployed on embedded systems. This PhD research project aims at proposing CNNs which are more suitable for embedded systems withlow computing resources and memory requirements. Based on literature review, we propose three methods to accelerate the operation of neural networks : Selective Binarization, Quad-Approx Network and Min- ConvNets. Selective Binarization combines layers with different precisions in CNNs to achieve an acceptable speed and accuracy. As well an FPGA based hardware accelerator is proposed for these optimized structures. With the proposed signed PArameterized Clipping acTivation Function (signed PACT), the CNNs are quantized into 3 bits, and then a loss-less network is established by using approximate multiplier, which is named Quad-Approx Network. In addition to acceleration, what is more valuable is that Quad-Approx shows that CNNs are certain fault tolerance systems, which leads us to propose the MinConvNets. MinConvNet is a set of multiplication-less CNNs whose multiplications are replaced by approximate operations. MinConvNet can achieve negligible loss of prediction compared to exact image classification networks through transfer learning, meanwhile the multiplication which is more resource consuming to implement is replaced by easier implemented operations. Human is ushering the era of the artificial intelligence. In the meantime, the Internet of Things (IoT) makes our lives more convenient. These works bring more complex intelligent algorithms into the edge devices and helps us to create the era of Artificial intelligent Internet of Things (AIoT).
Les réseaux de neurones convolutifs (CNN) ont été largement utilisés dans de nombreux domaines tels que la reconnaissance d’image, le traitement vidéo et le traitement du langage naturel. Cependant, les CNN sont toujours gourmands en calculs et en ressources. Ils sont souvent limités par les performances et la mémoire limitées lorsqu’ils sont déployés sur des systèmes embarqués. Ce projet de recherche doctorale vise à proposer des CNNs à faibles besoins en ressources informatiques et en mémoire, qui sont plus adaptés aux systèmes embarqués. En plus de la revue de la littérature, trois méthodes pour accélérer les CNNs sont proposées : Selective Binarisation, Quad-Approx Networks et MinConv-Nets : La Selective Binarisation combine des couches avec différentes précisions dans les CNNs pour obtenir une vitesse et une précision acceptables. De plus, un accélérateur basé sur FPGA est proposé pour ces structures optimisées. Avec le PArameterized Clipping acTivation Function signé proposé (signed PACT), les CNN sont quantizées en 3 bits, puis le multiplicateur approximatif est utilisé pour construire un réseau sans perte les précisions de détection, appelé Quad-Approx Network. En plus de l’accélération, il est plus précieux que Quad-Approx montre que les CNN sont des systèmes de tolérance aux pannes, ce qui nous conduit à proposer les MinConvNets. MinConvNet est un ensemble de CNN sans multiplication dont la multiplication est remplacée par une opération approximative. MinConvNet peut obtenir une perte de prédiction négligeable par rapport aux réseaux de classification d’image exacte grâce à l’apprentissage par transfert, tandis que la multiplication difficile à mettre en oeuvre est remplacée par des opérations plus faciles à implémenter. D’une part, l’humain inaugure l’ère de l’intelligence artificielle. D’un autre côté, l’Internet des objets (IoT) nous facilite la vie. Ces travaux apportent des algorithmes intelligents plus complexes dans les appareils de périphérie et nous aident à créer l’ère de l’Internet des objets artificiel et intelligent (AIoT).
Fichier principal
Vignette du fichier
96723_YANG_2021_archivage.pdf (4.75 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03272594 , version 1 (28-06-2021)

Identifiants

  • HAL Id : tel-03272594 , version 1

Citer

Xuecan Yang. Approximate computing for embedded machine learning. Electronics. Institut Polytechnique de Paris, 2021. English. ⟨NNT : 2021IPPAT005⟩. ⟨tel-03272594⟩
303 Consultations
636 Téléchargements

Partager

Gmail Facebook X LinkedIn More