Wat is het verschil tussen Hadoop en Spark
Share
De grootste verschil tussen Hadoop en Spark is dat het Hadoop is een open source-raamwerk van Apache dat gedistribueerde verwerking van grote gegevenssets over clusters van computers mogelijk maakt met behulp van eenvoudige programmeermodellen, terwijl Spark een clustercomputerkader is dat is ontworpen voor snelle Hadoop-berekening.
Big data verwijst naar de verzameling van data met een enorm volume, snelheid en variëteit. Het is daarom niet mogelijk om traditionele gegevensopslag- en verwerkingsmethoden te gebruiken om big data te analyseren. Hadoop is een software om grote gegevens effectief en efficiënt op te slaan en te verwerken. Maar Spark daarentegen is een Apache-framework om de rekensnelheid van Hadoop te verhogen. Het kan zowel batch- als realtime analyses en gegevensverwerkingsworkloads verwerken.
Key Areas Covered
1. Wat is Hadoop
- Definitie, functionaliteit
2. Wat is Spark
- Definitie, functionaliteit
3. Wat is het verschil tussen Hadoop en Spark
- Vergelijking van belangrijke verschillen
Sleutelbegrippen
Big Data, Hadoop, Spark
Wat is Hadoop
Hadoop is een open source framework ontwikkeld door Apache Software Foundation. Het wordt gebruikt om big data op te slaan in een gedistribueerde omgeving om ze tegelijkertijd te verwerken. Het biedt ook gedistribueerde opslag en berekening via clusters van computers. Verder zijn er vier belangrijke componenten in de Hadoop-architectuur. Zij zijn; Hadoop File Distributed System (HDFS), Hadoop MapReduce, Hadoop common en Hadoop YARN.
HDFS is het Hadoop-opslagsysteem. Het werkt volgens de master-slave-architectuur. Het hoofdknooppunt beheert de metadata van het bestandssysteem. De andere computers werken als de slaafknooppunten of gegevensknooppunten. Ook zijn de gegevens verdeeld over deze gegevensknooppunten. Evenzo bevat de Hadoop MapReduce het algoritme om gegevens te verwerken. Hier voert het masterknooppunt kaartverkleiningstaken uit op slave-knooppunten. En het slaafknooppunt voltooit de taken en stuurt de resultaten terug naar het hoofdknooppunt. Daarnaast biedt Hadoop Common Java-bibliotheken en hulpprogramma's ter ondersteuning van de andere componenten. Aan de andere kant voert het Hadoop YARN clusterbronbeheer en taakplanning uit.
Wat is Spark
Spark is een Apache-framework om de rekensnelheid van Hadoop te verhogen. Het helpt Hadoop om de wachttijd tussen query's te verkorten en om de wachttijd voor het uitvoeren van het programma te minimaliseren.
Spark SQL, Spark Streaming, MLib, GraphX en Apache Spark Core zijn de belangrijkste componenten van Spark.
Spark Core - Alle functionaliteiten zijn gebouwd op Spark Core. Het is de algemene uitvoeringsengine voor het vonkplatform. Het biedt in-memory computing en referentie-datasets in externe opslagsystemen.
Spark SQL - Biedt SchemaRDD dat gestructureerde en semi-gestructureerde gegevens ondersteunt.
Spark Streaming - Biedt mogelijkheden voor het uitvoeren van streaminganalyses.
MLIB - Een gedistribueerd machine learning framework. Spark MLib is sneller dan de Hadoop-schijfversie van Apache Mahout.
Graphx - Een gedistribueerd grafieverwerkingsraamwerk. Het biedt een API voor het uitdrukken van grafiekberekeningen die de door de gebruiker gedefinieerde grafieken kunnen modelleren met Pregel abstractie-API.
Verschil tussen Hadoop en Spark
Definitie
Hadoop is een open source-framework van Apache waarmee gedistribueerde verwerking van grote gegevenssets over clusters van computers mogelijk is met behulp van eenvoudige programmeermodellen. Apache Spark is een open-source gedistribueerd framework voor algemene doeleinden voor clusterverwerking. Dit verklaart dus het belangrijkste verschil tussen Hadoop en Spark.
Snelheid
Snelheid is een ander verschil tussen Hadoop en Spark. Spark presteert sneller dan Hadoop.
Fouttolerantie
Hadoop gebruikt replicatie van gegevens in meerdere exemplaren om fouttolerantie te bereiken. Spark gebruikt Resilient Distributed Dataset (RDD) voor fouttolerantie.
API
Een ander verschil tussen Hadoop en Spark is dat de Spark verschillende API's biedt die kunnen worden gebruikt met meerdere gegevensbronnen en talen. Ze zijn ook meer uitbreidbaar dan Hadoop API's.
Gebruik
Hadoop wordt gebruikt voor het beheren van gegevensopslag en -verwerking van big data-applicaties die draaien in geclusterde systemen. Spark wordt gebruikt om het Hadoop-rekenproces te stimuleren. Dit is dus ook een belangrijk verschil tussen Hadoop en Spark.
Conclusie
Concluderend, het verschil tussen Hadoop en Spark is dat de Hadoop een Apache open source framework is dat gedistribueerde verwerking van grote datasets mogelijk maakt over clusters van computers met behulp van eenvoudige programmeermodellen, terwijl Spark een clustercomputerkader is, ontworpen voor snelle Hadoop-berekening. Beide kunnen worden gebruikt voor toepassingen op basis van voorspellende analyses, datamining, machine learning en nog veel meer.
Referentie:
1. "Hadoop - Introductie van Hadoop." Www.tutorialspoint.com, Tutorials Point, hier beschikbaar.
2. "Apache Spark Introduction." Www.tutorialspoint.com, Tutorials Point, hier beschikbaar.
Afbeelding met dank aan:
1. "Apache Hadoop Elephant" door Intel Free Press (CC BY-SA 2.0) via Flickr
2. "Spark Java Logo" door David Åse - Eigen werk (CC BY-SA 4.0) via Commons Wikimedia
