Cloudera startet Kompatibilitätstest-Initiative für Apache Sqoop und Apache Flume

Cloudera, der Marktführer für unternehmensweite Datenanalyse auf Basis von Apache Hadoop, will die Entwicklung von Open Source API-Kompatibilitätstests vorantreiben und dadurch die Marktaufnahme von Apache Sqoop und Apache Flume beschleunigen. Dazu nimmt das Unternehmen eine führende Rolle in einer neuen Initiative ein. Diese wird in Form neuer Apache-Teilprojekte für Kompatibilität kostenlos und offen für alle Händler, Endanwender oder Mitarbeiter sein, die ein Interesse an der Verbreitung offener Multi-Vendor-Standards für die Bewältigung von Analyse-Workloads der nächsten Generation haben.

„Momentan haben Anwendungsentwickler keinen Zugang zu Open-Source-Tools zum Validieren der Kompatibiltät ihrer Implementierungen mit Apache Sqoop und Apache Flume. Das bringt Risiken, Kosten und Verzögerungen in die Applikations-Entwicklung“, so Mike Olson, Chief Strategy Officer Cloudera. „Unser Ziel für diese Testframeworks ist es, den Entwicklungsprozess zukünftiger Produkte und Apps zur Einspeisung und Analyse von Daten zu rationalisieren. Wir wollen Abnehmern die Sicherheit geben, dass jedes Produkt, das diese Tests besteht, kompatibel mit den Releases der Apache Software Foundation ist.“

Cloudera ist Marktführer für den Unternehmenseinsatz von Hadoop und wird von vielen Branchenexperten als Maßstab für den Hadoop-Einsatz und kommerziellen Erfolg gesehen. Man ist stolz darauf, zu Fortschritten in der Open-Source-Community beizutragen und gemeinsam mit der Apache Software Foundation nach eleganteren und schlagkräftigeren Wegen zu suchen, das Hadoop-Ökosystem weiterzuentwickeln. Die Initiative für API-Kompatibilitätstests spiegelt das Engagement für eine beschleunigte Verbreitung von Open-Source-Standards wider, auf denen die Big-Data-Plattformen der Zukunft schon heute aufgebaut werden.

Datenanalyse ist allerdings nur die halbe Miete: Der erste Schritt in jedem Big-Data-Projekt ist das Einspeisen von Daten in ein Hadoop-Cluster. Apache Flume und Apache Sqoop sind bei der Bewegung großer Datenmengen daher entscheidend.

Apache Sqoop hat sich als wertvoll für den effizienten Transfer von Massendaten zwischen Hadoop und strukturierten Datenspeichern wie etwa relationalen Datenbanken erwiesen. Wenn Unternehmen ihre kompletten Datenbestände nutzbar machen wollen, zum Beispiel für umfassende Kundenprofile, sind Schnelligkeit und Effizienz notwendig, um relevante Einblicke in Echtzeit zu bekommen und so den künftigen Kundendialog prägen und beeinflussen zu können.

Apache Flume hingegen hat sich als effektive Software für das Sammeln, Aggregieren, und Bewegen großer Mengen von Streaming-Event-Daten in Hadoop-Cluster hinein bewährt. Weil die Mengen an maschinengenerierten Daten und Datenströmen aus dem Internet der Dinge immer weiter anwachsen, wird es wichtiger, diese Daten schnell zu bewegen. Durch Open-Source-Standards für Datensammlung, Datenfluss und das Aggregieren von Datenspeichern wird die Basis für zukünftige Erkenntnisse geschaffen.

Trägerorganisationen der Initiative:

Accenture
Capgemini
Celer Technologies
Corvil
Couchbase
Dataguise
Dell Computer
E8 Security
Fortscale
Intel
NetFlow Logic
NetIQ
Oracle
Pentaho
Quaero
Rocana
Syncsort
SAS
SGI
StreamSets
Talend
TCS
Teradata
Tibco

Unterstützende Zitate:

• Accenture
  „Accenture und Cloudera haben im Juni 2014 eine formelle Allianz gegründet, um Kunden zu helfen, mit Big Data messbare finanzielle Ergebnisse zu erreichen. Das neue Open-Source-API- Kompatibilitätstest-Framework ermöglicht es unseren Technologen, sich an Apache Foundation-Projekten zu beteiligen und mehr über Apache Sqoop und Apache Flume zu lernen. Das Ergebnis ist, dass Accenture seinen Kunden noch stärker helfen kann, Daten zu mobilisieren und zu managen, um Einblicke zu gewinnen, die es Unternehmen ermöglichen, sich in ihren Märkten zu behaupten und von anderen zu differenzieren.“
  -- Narendra Mulani, Senior Managing Director, Accenture Analytics

• Capgemini
  „Die meisten Big-Data-Projekte beinhalten eine Echtzeit-Entscheidungskomponente und immer mehr Open-Source-Technologie wie Kafka, Sqoop oder Flume und natürlich APIs sind wichtige Bestandteile. Mehr als je zuvor verlangt der Markt nach einer kurzen Markteinführungszeit. Die Nutzung eines Open-Source-Kompatibilitätstest-Frameworks wird die Markteinführungszeit dramatisch verkürzen und die Zuverlässigkeit dieser geschäftsentscheidenden Funktionen verbessern.“
  -- Manuel Sevilla, CTO Global Insights & Data Practice

• Corvil
  „Als ein Anbieter von Network Data Analytics für IT Operational Intelligence wird von Corvil verlangt, sich in viele Big-Data-Lösungen zu integrieren. Standards wie Sqoop und Flume reduzieren die Entwicklungslast erheblich und erlauben es uns, agiler auf Marktanforderungen zu reagieren. Es ist sehr vorteilhaft, dass solche Standards weiter aktualisiert werden und dass Cloudera Implementierungen bestätigt.”
  -- Donal O'Sullivan, VP Products

• Couchbase
  „Couchbase begrüßt die Entscheidung von Cloudera, Frameworks für die Zertifizierung von Big-Data-Architekturen auf offenen Technologien wie Kafka, Flume und Sqoop zur Verfügung zu stellen. Unternehmen in allen Branchen entwickeln Big-Data-Plattformen der nächsten Generation, die offene Technologien von NoSQL und Hadoop-Herstellern verwenden. Ein kostenloses, offenes Testframwork zu haben, macht es möglich, schneller und leichter neue Technologien, die betriebswichtige Anwendungen unterstützen, einzusetzen.“
  -- Bob Wiederhold, CEO

• Fortscale
  „Als ein Early Adopter von Open-Source-Technologien glaubt Fortscale, dass die Bestrebungen von Cloudera, die Adaptierung von Apache Kafka zu beschleunigen, schnelleres Wachtum innovativer Lösungen ermöglichen wird, die effektiv skalierbar sind und damit Mehrwert für Kunden bieten. Das wurde mehrfach bewiesen, als Fortscale erfolgreich Produkte lieferte, die mit Hadoop, Kafka und Flume als Hauptbausteinen entwickelt wurden.“
  -- Guy Mordecai, Director of Product Management

• Intel Corporation
  „Unternehmen wie Intel investieren zunehmend in Big-Data-Analytik-Lösungen, welche das Sammeln und Verarbeiten von Streaming- und Massendaten erfordern. Plattformen basierend auf offenen Standards, Open-Source-Software und offenen APIs können die Kosten und Komplexität von Anwendungsentwicklung und –implementierung stark verringern. Intel ist seit langem der standardbasierten Innovation verpflichtet und unterstützt diese Initiative, um mehr Kompatibilität zwischen den Hauptkomponenten der Apache Hadoop-Plattform zu ermöglichen.
  -- Ron Kasabian, VP Data Center Group and General Manager, Big Data Solutions

• NetFlow Logic
  „Von der Akzeptanz offener Standards wie Kafka, Flume und Sqoop in der nächsten Generation von Big Data-Plattformen profitiert die gesamte Community. Das ermöglicht Nutzern, die Entwicklung und Einführung von Anwendungen der nächsten Generation zu beschleunigen.“
  -- Damian Miller, VP Customer Success

• NetIQ
  „Heute ist es wichtiger denn je, Organisationen mit den Fähigkeiten auszustatten, echte Informationen aus den riesigen Datenmengen zu extrahieren. Die Arbeit, die Cloudera und ihre Partner rund um offene Standards leisten, ist ein wichtiger Meilenstein der Industrie und wir freuen uns, sie zu unterstützen.“
  -- David Corlette, Leitender Produktmanager, NetIQ Security Portfolio Micro Focus

• Rocana
  „Es ist gut, dass die Apache Community in prüfbare APIs investiert. Dies wird ein bedeutender Vorteil für ISVs wie Rocana sein, die auf einer breiten Palette von Projekten aufbauen.“
  -- Eric Sammer, CTO

• SAS
  „Kunden nutzen Hadoop verstärkt als Analyse- und Visualisierungsplattform. Wenn die richtigen Daten in Hadoop geladen sowie umgewandelt und bereinigt sind, sind die Informationen ohne weiteres für Visualisierungen, erweiterte Analyse und Unternehmensentscheidungen verfügbar. SAS unterstützt diese Cloudera-Initiative, da sie gewährleistet, dass unsere Angebote, darunter SAS® Data Loader for Hadoop, die Datenbewegung und Datenqualität in und durch Hadoop-Cluster verbessern können.“
  -- Randy Guard, VP Product Management

• SGI
  „Wir erwarten, dass die Einführung von offenen Standards wie Apache Kafka, Sqoop und Flume den Grundstein für die Big-Data-Arbeitslasten von morgen legt. Kostenloser und offener Zugriff auf Tools für Entwickler fördert Innovation und Zusammenarbeit in der gesamten Data-Science-Community, hilft aber auch daten-intensiven Branchen, die Rolle des High Performance Computing im gesamten Unternehmen neu zu denken.“
  -- Bob Braham, CMO

• StreamSets
  „StreamSets bekennt sich wie Cloudera vollständig zur Förderung der Übernahme offener Multi-Vendor-Standards als wichtige Bausteine zukünftiger Big-Data-Plattformen. Apache Sqoop und Apache Flume, die beide wichtige Bestandteile im Angebot von StreamSets sind, ermöglichen die schnellere Einspeisung von mehr Daten in zukünftige analytische Workloads. Deshalb unterstützen wir die Open Source Compatibility Rahmeninitiative von Cloudera.“
  -- Arvind Prabhakar, CTO

• Syncsort
  „Diese Initiative passt gut zu unserem Fokus auf der Unterstützung von Kafka für parallele Dateneinspeisung in Hadoop und Echtzeit-ETL-Verarbeitung und beschleunigt unsere kontinuierlichen Beiträge zu Apache-Projekten wie Sqoop.“
  -- Tendu Yogurtcu, General Manager for Big Data

• TCS
  „In unseren Kundenprojekten sehen wir, dass der Erfolg von Big-Data-Systemen entscheidend von der Effizienz der Dateneinspeisung abhängt. Dies reicht von traditionellen chargenorientierten Systemen bis hin zu neuen Streaming-Anwendungen, die das Internet der Dinge erforderlich gemacht hat. Wir denken, dass Open-Source-Standards wie Kafka, Flume und Sqoop und die zugehörigen Test-Frameworks von zentraler Bedeutung für die rasche Akzeptanz von Big-Data-Anwendungen sind.“
  -- Dr. Satya Ramaswamy, Global Head of TCS Digital Enterprise

• TIBCO
  „TIBCO sieht sich verpflichtet, Kunden den Nutzen zu liefern, den offene Standards bringen. Jeder Versuch, Marktakzeptanz offener Standards wie Kafka, Flume und Sqoop in der nächsten Generation von Big Data-Plattform zu fördern ist eine positive Entwicklung für die Kunden, die Branche und das Ökosystem.“
  -- Karl Van den Bergh, VP Product and Cloud

• Teradata
  "Teradata unterstützt Clouderas Initiative, die Entwicklung von Apache und Apache Sqoop Flume-Software zu fördern. Diese Open Source-Technologien kann eine wertvolle Bereicherung für die Open Source Community sein, da sie zu einer standardisierten Komponente der Hadoop-Implementierungen werden. "
  -- Chris Twogood, VP Products and Services