{"id":684,"date":"2013-10-11T15:30:14","date_gmt":"2013-10-11T13:30:14","guid":{"rendered":"http:\/\/blog.khaledtannir.net\/?p=684"},"modified":"2013-10-11T15:30:14","modified_gmt":"2013-10-11T13:30:14","slug":"hadoop-et-mapreduce-introduction","status":"publish","type":"post","link":"https:\/\/khaledtannir.net\/en\/2013\/10\/11\/hadoop-et-mapreduce-introduction\/","title":{"rendered":"Introduction \u00e0 Hadoop 1\/2"},"content":{"rendered":"

Cet article sera le premier d’une s\u00e9rie qui pr\u00e9sentent la mise en oeuvre de ce syst\u00e8me ainsi que ses capacit\u00e9s adapt\u00e9 \u00e0 de grands volumes de donn\u00e9es (Big Data). Dans cette une introduction je vais expliquer les principes de Hadoop ainsi que son utilit\u00e9. Dans la suite des articles on se focalisera sur l’aspect pragmatique de ce framework par l’\u00e9laboration d’un exemple, dont le but sera de traiter un grand volume de donn\u00e9es. De m\u00eame, dans les prochains articles, on analysera la configuration et comment le mettre en place.
\n
\nQu’est-ce que c’est Hadoop ?<\/strong>
\nHadoop<\/a> est l’acronyme du High-availability distributed object-oriented platform<\/em>. Il s’agit d’une plate-forme open source qui fournit aussi bien les capacit\u00e9s de stockage que de traitement. La communaut\u00e9 Apache <\/a>(Yahoo) a repris\u00a0le mod\u00e8le MapReduce introduit par Google en 2004 et a propos\u00e9 sa solution open-source Hadoop .Cette solution\u00a0est\u00a0construite\u00a0autour de 2 concepts fondamenteaux : HDFS<\/strong> et MapReduce<\/strong>. Deux composantes\u00a0qu’on verra plus en d\u00e9tail par la suite.<\/p>\n

Bien qu’il puisse aussi bien s’installer et fonctionner sur une seule machine, la vraie puissance de Hadoop ne sera visible qu’\u00e0 partir d’un environnement compos\u00e9 de plusieurs ordinateurs (un cluster). Hadoop est donc la r\u00e9ponse \u00e0 un constat simple : la multiplication de l’espace disque ne va pas avec l’acc\u00e9l\u00e9ration de la lecture des donn\u00e9es. La solution serait alors de distribuer les donn\u00e9es en plusieurs parties pour les stocker sur plusieurs machines. L’enjeu se situe alors dans le m\u00e9canisme qui g\u00e8re l’acc\u00e8s partag\u00e9 \u00e0 cette ressource.<\/p>\n

Cependant, ce partage des ressources am\u00e8ne quelques nouvelles probl\u00e9matiques \u00e0 r\u00e9soudre telles que:\u00a0comment garantir l’int\u00e9grit\u00e9\u00a0des donn\u00e9es ?\u00a0comment composer correctement et rapidement une donn\u00e9e finale \u00e0 partir de plusieurs sources ? Hadoop apporte sa propre solution\u00a0\u00e0 ces deux probl\u00e9matiques \u00e0 travers ses concepts d\u00e9j\u00e0 mentionn\u00e9s : HDFS et MapReduce.<\/p>\n

\n

\/\/<\/p>\n<\/div>\n

Qu’est-ce que c’est HDFS ?<\/strong>
\nLe mod\u00e8le MapReduce ne d\u00e9finit aucun syst\u00e8me de fichier \u00e0 utiliser. Hadoop Distributed Filesystem<\/strong><\/em> (HDFS<\/a>) est un syst\u00e8me de fichiers distribu\u00e9 fournit par Hadoop.\u00a0HDFS\u00a0utilise le r\u00e9seau pour manipuler et\u00a0acc\u00e9der aux donn\u00e9es et\u00a0utilise les\u00a0ressources des autres ordinateurs clients\u00a0pr\u00e9sents sur\u00a0ce r\u00e9seau. De plus, HDFS est un syst\u00e8me de fichier adapt\u00e9 pour\u00a0travailler avec de tr\u00e8s grands volumes des donn\u00e9es tel que Google BigTable<\/a> (1 GB et plus). Le grand plus de ce syst\u00e8me est l’universalit\u00e9. Il n’a pas besoin d’une machine tr\u00e8s puissante pour fonctionner correctement tout comme Il a \u00e9t\u00e9 con\u00e7u\u00a0pour fonctionner sur des machines “ordinaires”.<\/p>\n

Le syst\u00e8me\u00a0HDFS int\u00e8gre un m\u00e9canisme de tol\u00e9rances aux pannes, et peut ainsi garantir la disponibilit\u00e9 et l’int\u00e9grit\u00e9 des donn\u00e9es malgr\u00e9 une d\u00e9faillance syst\u00e8me (plantage d’une machine). Il permet un traitement rapide des fichiers d’une grande taille, cependant\u00a0HDFS est moins adapt\u00e9 aux fichiers de fichiers de petite taille.<\/p>\n

HDFS permet de rapprocher la lecture de la localisation des fichiers plut\u00f4t que de rapprocher les fichiers de la lecture (la localisation des donn\u00e9es est une probl\u00e9matique essentielle li\u00e9e au Big Data) ; en outre, il int\u00e8gre des interfaces qui permettent aux applications de localiser plus rapidement les ressources demand\u00e9es dans le cluster (ensemble des machines clientes).<\/p>\n

Un\u00a0block<\/strong>\u00a0 HDFS d\u00e9signe un portion de donn\u00e9es stock\u00e9e dans le syst\u00e8me de fichier. La taille d’un block est par d\u00e9faut de 64 MB (128 MB pour les versions plus r\u00e9centes de Hadoop), ce qui est sup\u00e9rieure \u00e0 celle des syst\u00e8mes de fichiers standards. Lorsque la taille d’une donn\u00e9e est inf\u00e9rieure \u00e0 64 MB, elle n\u2019occupe pas toute la taille du bloc, ce qui repr\u00e9sente une autre diff\u00e9rence par rapport aux syst\u00e8mes de fichiers standard.<\/p>\n

HDFS met en oeuvre le\u00a0pattern master-worker,<\/strong><\/em> lequel est\u00a0un mod\u00e8le\u00a0de traitement parall\u00e8le d’une ou de plusieurs op\u00e9rations \u00e0 travers plusieurs workers<\/em> <\/strong>et un master<\/strong> <\/em>(un mod\u00e8le similaire au mod\u00e8le client\/serveur). Dans HDFS, le master\u00a0orchestre toutes les op\u00e9rations et maintient la coh\u00e9rence des m\u00e9ta-donn\u00e9es, on l’appelle namenode<\/strong>. C’est lui qui r\u00e9ceptionne la demande du client et la passe directement \u00e0 ses workers appell\u00e9s\u00a0datanodes<\/strong>. Les datanodes stockent et r\u00e9cup\u00e8rent les blocs d\u00e9mand\u00e9s. Lors de la cr\u00e9ation d’un fichier au sein de HDFS, l’utilisateur peut sp\u00e9cifier un nombre de r\u00e9plication. Ainsi HDFS placera ces donn\u00e9es sur plusieurs datanodes ce qui permet leurs disponibilit\u00e9s pour les workers et une extraction plus rapide.<\/p>\n

\"HDFS<\/a>

HDFS Architecture<\/p><\/div>\n

 <\/p>\n

Qu’est-ce que c’est MapReduce ?<\/strong>
\nComme on a d\u00e9j\u00e0 mentionn\u00e9, Hadoop est un syst\u00e8me de traitement parall\u00e8le des donn\u00e9es qui met en oeuvre le mod\u00e8le MapReduce lequel est un mod\u00e8le de programmation parall\u00e8le permettant de traiter de grands volumes de donn\u00e9es. Ce mod\u00e8le se base sur 2 \u00e9tapes principales:<\/p>\n