Machine learning based perceived quality estimation models in realtime communications

Created by W.Langdon from gp-bibliography.bib Revision:1.7630

@PhdThesis{Demirbilek:thesis,

• author = "Edip Demirbilek",
• title = "Machine learning based perceived quality estimation models in realtime communications",
• title_fr = "Modeles d'apprentissage automatique d'estimation de qualite percue dans les communications en temps reel",
• school = "Universite du Quebec, Institut national de la recherche scientifique",
• year = "2017",
• address = "Canada",
• keywords = "genetic algorithms, genetic programming, multimedia communication testbed, audiovisual quality dataset, perceived quality modeling, machine learning, random forests, bagging, deep learning, genetic programming, banc d'essai de la communication multimedia, donnees de mesure de la qualite audiovisuelle, modelisation de la qualite percue, apprentissage automatique, forets d'arbres decisionnels, techniques de bootstrap, apprentissage profond, programmation genetique",
• URL = "http://espace.inrs.ca/id/eprint/8018",
• URL = "http://espace.inrs.ca/id/eprint/8018/1/Demirbilek,%20Edip.pdf",
• size = "184 pages",
• abstract = "This research has started with the initial objective to build machine learning based models that predict the perceived audiovisual quality directly from a set of correlated parameters that are extracted from a target quality dataset. To reach that goal, we have first created a VideoLAN Video-on-Demand based testbed and generated a preliminary audiovisual quality dataset that let us experiment with various machine learning algorithms. These early experiments encouraged us to create a more robust testbed based on the GStreamer multimedia framework. With this new testbed, we have generated the INRS audiovisual quality dataset that reflects contemporary realtime configurations for video frame rate, video quantisation, noise reduction parameters and network packet loss rate. Then we have used this INRS dataset to build several machine learning based parametric and bit-stream perceived quality estimation models based on Random Forests, Bagging, Deep Learning and Genetic Programming methods.

  For the parametric models, all four methods have achieved high accuracy in terms of RMSE and Pearson correlation with subjective ratings. Random Forests and Bagging based models show a small edge over Deep Learning with respect to the accuracy they have achieved. Genetic Programming based models fell behind even though their accuracy is impressive as well. We have also obtained high accuracy on other publicly available audiovisual quality datasets and the performance metrics we have computed are comparable to the existing models trained and tested on these datasets.

  For the bit stream models, both the Random Forests and Bagging based bitstream models have outperformed the Deep Learning and Genetic Programming based bitstream models as well as all of the parametric models. However, both the Genetic Programming and Deep Learning based bitstream models fell behind the parametric models due to a significant increase in the number of features in the bitstream dataset. Overall we conclude that computing the bitstream information is worth the effort and helps to build more accurate models. However, it is useful only for the deployment of the right algorithms.

  In light of our results, we conclude that the Decision Trees based algorithms are well suited to the parametric models as well as to the bitstream models. Moreover, we know that extracting additional correlated data from the dataset helps us to generate more accurate models when suitable machine learning algorithms are deployed.

  The dataset, tools and machine learning codes that have been generated during this research are publicly available for research and development purposes.",

• resume = "L'objectif de notre travail est de developper des modeles d'apprentissage automatique qui predisent la qualite audiovisuelle percue. La prediction se fait a partir d'un ensemble de parametres correles derives d'un ensemble de donnees extraits de la cible. Afin d'atteindre cet objectif, nous avons tout d'abord developpe, avec VLC, un banc d'essai de la VsD (Video sur Demande) et avons genere un ensemble de donnees preliminaires de la qualite audiovisuelle. Le but etait d'etudier divers algorithmes d'apprentissage automatique. Ces premieres experimentations nous ont encourage a developper un banc d'essai plus robuste, base sur le framework multimedia GStreamer. Nous avons genere, avec ce nouveau banc d'essai, un ensemble de donnees de qualite audiovisuelle, propre a notre contexte. Ces donnees refletent les configurations contemporaines des communications interactives pour le taux d'image par seconde, la quantification video, les parametres de reduction du bruit et le taux de perte des paquets du reseau. Nous avons ensuite utilise cet ensemble de donnees afin de developper divers modeles, reposant soit sur l'information media (<< parametriques >>), soit sur les donnees reseau (<< bitstream >>), d'estimation de la qualite percue. Ces modeles sont bases sur les methodes des forets d'arbres decisionnels, des techniques dites de demarrage (<< bootstrap >>), de l'apprentissage profond et de la programmation genetique.

  Pour les modeles parametriques, les quatre methodes ont atteint une precision elevee en terme de correlation RMSE et de Pearson. Les modeles bases sur les forets d'arbres decisionnels et les techniques de bootstrap montrent un petit avantage par rapport a l'apprentissage profond quant a la precision qu'ils ont atteint. Les modeles bases sur la programmation genetique sont moins performants meme si leur precision est impressionnante. Nous avons egalement obtenu une precision elevee en utilisant les autres ensembles de donnees sur la qualite visuelle, accessibles au public. Les metriques de performance que nous avons calculees sont comparables aux modeles existants formes et testes sur ces ensembles de donnees.

  Pour les modeles bitstream, les methodes de forets d'arbres decisionnels ainsi que les techniques de bootstrap ont surpasse les modeles bases sur l'apprentissage profond et la programmation genetique ainsi que tous les modeles parametriques. Cependant, les modeles bitstream realises en programmation genetique et en apprentissage profond ont moins bien performe que les modeles parametriques a cause d'une augmentation significative du nombre de caracteristiques dans l'ensemble de donnees bitstream. Dans l'ensemble, nous concluons que le calcul de l'information bitstream merite l'effort fourni pour la generer. Ce calcul aide a construire des modeles plus precis mais demeure utile uniquement pour le deploiement de bons algorithmes.

  Sur la base de nos resultats, nous concluons que les algorithmes bases sur l'arbre de decision conviennent aux modeles parametriques ainsi qu'aux modeles bitstream. De plus, nous savons que l'extraction de donnees correlees supplementaires de l'ensemble de donnees nous aide a generer des modeles plus precis lorsque des algorithmes d'apprentissage automatique appropries sont deployes. L'ensemble des donnees, les outils et les codes d'apprentissage automatique qui ont ete developpes au cours de cette recherche sont gracieusement offerts a la communaute pour des fins de recherche et de developpement.",

• notes = "En Francais et English

  EMT

  Supervisor: Jean-Charles Gregoire",

}

Genetic Programming entries for Edip Demirbilek

Citations