Was ist AWS Glue? | Der Vergleich

• Der Vergleich
• Video
• Was ist AWS Glue? | Der Vergleich

Datenmanagement ist für manche (im wahrsten Sinne des Wortes) ein Vollzeitjob. Insbesondere in einem großen Unternehmen kann es Anfragen geben, einen Analysebericht auszuführen, Daten von einem Repository in ein anderes zu verschieben oder sogar „saubere Daten“ für eine große neue Webanwendung zu erstellen. Im Hinblick auf die Datenverwaltung bieten Cloud-Services äußerste Flexibilität bei der Datenberichterstattung und es stehen zahlreiche Tools zur Verfügung, insbesondere für Amazon Web Services (oder AWS). AWS Glue ist ein solches Cloud-Management- und Datenspeichertool. Es ist als Managed ETL bekannt, was bedeutet, dass es zum Extrahieren, Transformieren und Laden von Daten zur Vorbereitung von Berichten und Analysen verwendet wird. AWS Glue ist ein Datenkatalog zum Speichern von Metadaten in einem zentralen Repository. Dies ist eine Möglichkeit, ETL zu automatisieren, um AWS Glue auf auf AWS gespeicherte Daten zu verweisen. Die Daten sind für alle Cloud-Berichte und -Analysen, die Sie benötigen, durchsuchbar und durchsuchbar. Es ist hilfreich, ETL zu verstehen, bevor Sie sich mit AWS Glue und den Vorteilen seiner Verwendung befassen. Bei ETL handelt es sich um die Art und Weise, wie Datenverwaltungsmitarbeiter in einem Unternehmen Daten zusammenführen, damit sie für eine Abfrage verwendet werden können. In der Cloud können mehrere Data Warehouses und mehrere Datenbanken vorhanden sein, aber ETL bereitet die Daten vor, ohne dass die Data Warehouses verschoben werden müssen. ETL bereitet die Daten im Wesentlichen so vor, dass sie für die Analyse und Berichterstellung bereit sind, anstatt die Daten zu verschieben, zu isolieren und dann Abfragen auszuführen. zur Vorbereitung einer Analyse oder eines Berichts. AWS Glue ist das Tool, das ETL-Code für die Programmiersprachen Scala oder Python generiert. Sobald Sie die Katalogdaten generiert haben, können Sie die Daten im Wesentlichen mithilfe von Cloud-Computing-Tools wie Amazon Athena, Amazon EMR und Amazon Redshift Spectrum abfragen und abfragen, die alle darauf ausgelegt sind, Unternehmen bei der Speicherung und Verwendung von Daten in Anwendungen zu unterstützen. AWS Glue funktioniert auch mit Virtual Private Cloud (Amazon VPC) auf Amazon EC2. Um zu verstehen, was AWS Glue ist, ist es hilfreich zu verstehen, wie es funktioniert. Zu Beginn können Datenverwaltungsmitarbeiter, Entwickler und Datenwissenschaftler die AWS Management Console verwenden, um Datenquellen zu registrieren. Nach der Analyse der Daten erstellt ETL Kataloge mit Klassifikatoren wie JSON, CSV und Parquet. Anschließend wählen die Mitarbeiter eine Quelle für die ETL aus und generieren den für die Berichterstellung und Analyse erforderlichen Code. Schließlich kann ETL wiederkehrende Jobs planen und Daten für Tools wie AWS Lambda vorbereiten.

Vorteile von AWS Glue

Der Hauptvorteil von AWS Glue ist seine Flexibilität. Viele Unternehmen nutzen mittlerweile einen Data Lake, der eine große Menge strukturierter und unstrukturierter Daten enthält. In der Vergangenheit waren Unternehmen gezwungen, Daten in ein neues Repository zu verschieben, endlos Daten zu verwalten und sich Gedanken über die für ihre Anwendungen erforderlichen Server und Infrastruktur zu machen. Sprechen Sie über einen Vollzeitjob! Es war eine komplizierte Zeit in der Geschichte der Informationstechnologie, noch vor der Cloud. Mit AWS Glue benötigen Sie keinen lokalen Server (da er völlig serverlos ist und wie ein verwaltetes ETL funktioniert) oder sogar Ihr eigenes Rechenzentrum, Ihre eigenen Data Warehouses, lokalen Büros oder einen dedizierten Mitarbeiter, der die Daten verwaltet . Stattdessen ist AWS Glue der Klebstoff, der unterschiedliche Daten zusammenfügt und sie für die Abfrage bereit und verfügbar macht. AWS Glue ist außerdem hochgradig automatisiert. Sie können unterschiedliche Datenquellen analysieren, Formate identifizieren und Vorschläge zur Verwendung der Daten machen. Sobald AWS Glue dies alles erledigt hat, können Sie den Code generieren, den Sie für alle Ihre Abfragen, Transformationen oder Datenverarbeitungen benötigen. Ein wichtiger Unterschied besteht darin, dass AWS Glue die gesamte ETL-Verarbeitung in der Cloud durchführt. Dies bedeutet, dass Mitarbeiter nicht die Datenverwaltung und -vorbereitung durchführen müssen, die oft für die Ausführung von ETL erforderlich sind, wie z. B. die Verwaltung der Endpunktsicherheit, die Vorabkonfiguration von Daten, das Verschieben von Daten in das richtige Repository oder einen der komplizierteren Schritte, wie z. B. die Konfiguration der Daten Speichern, Verwalten des Speichers und Konfigurieren des Servers. AWS Glue beseitigt einen Großteil der Kopfschmerzen, die mit der Vorbereitung von Daten für die Analyse verbunden sind. In der Branche als „Heavy Lifting“ bekannt, handelt es sich um die Aufgabe, strukturierte oder unstrukturierte Daten für Abfragen aufzubereiten. Mit AWS Glue ist dies nicht notwendig. Sämtliche Erkennungs-, Bereinigungs-, Anreicherungs- und Bewegungsdaten finden im Rahmen von ETL im Hintergrund statt, was das IT-Service-Management erheblich vereinfacht. Da die Cloud so flexibel ist und es so viele verschiedene Data Warehouses, Webanwendungen und Geschäftsanforderungen für Berichte und Analysen gibt, hilft AWS Glue dabei, dem Prozess einen Grund zu geben. Data Mining – ohne erst das Backend zum Laufen bringen zu müssen. Es ist leistungsstark, weil es Zeit und Mühe spart, aber die Abfragen können reproduzierbar und automatisiert sein.