Confluent und Cloudera stellen neue Open Source API-Kompatibilitätstests für Apache Kafka vor

Cloudera, der Marktführer für unternehmensweite Datenanalyse auf Basis von Apache Hadoop, hat zusammen mit Confluent eine Initiative ins Leben gerufen, um ein Open-Source-Framework für API-Kompatibilitätstests zu erstellen. Anwender, unabhängige Softwarelieferanten (ISVs), OEM-Hersteller und Lösungsanbieter sind damit in der Lage, die einwandfreie Funktionalität von Produkten und Anwendungen zu überprüfen, die auf die APIs und Protokolle von Kafka angewiesen sind. Auf diese Weise können die mit der Produkt- und Anwendungsherstellung verbundenen, inkrementellen Risiken, Kosten und Arbeitsaufwendungen deutlich reduziert werden. Zudem wird sichergestellt, dass die entsprechenden Schnittstellen einwandfrei in die zugrunde liegenden Plattformen integriert werden. Indem die dafür erforderlichen Tools kostenlos zur Verfügung gestellt werden, kann die Entwicklung der jeweiligen Anwendungen deutlich gestrafft werden.

Das Framework wird als Teil des Apache Kafka Projektes als Open-Source-Software veröffentlicht.

"Mit diesem Kompatibilitäts-Testsystem wollen wir sicherstellen, dass jede Distribution mit Kafka mit den Releases der Apache Software Foundation als kompatibel zertifiziert werden kann", erläutert Jay Kreps, CEO von Confluent. „In Entwicklerkreisen hat Kafka bereits jede Menge an Zugkraft gewonnen. Das gemeinsam mit Cloudera entwickelte Testsystem bietet die Möglichkeit, dass Unternehmen auf Kafka basierende, wichtige Systeme nun schneller realisieren können."

"In Verbindung mit anderen Projekten, die wir gegenwärtig zur Marktreife bringen, macht diese Initiative deutlich, dass wir die Einführung von Open-Source-Angeboten und offenen Standards erhalten und beschleunigen wollen. Damit schaffen wir die Grundlage für künftige Big-Data-Plattformen", stellt Mike Olson, Chief Strategy Officer von Cloudera, fest. „Unternehmen profitieren in hohem Maße von offenen Standards wie Kafka, weil diese es ermöglichen, mehr Daten in kürzerer Zeit zu verarbeiten und in Workloads der nächsten Generation zu überführen. Auf diese Weise können Daten viel schneller einen unternehmerischen Nutzwert entfalten, als dies mit veralteten Anwendungen möglich ist. Die Möglichkeit einer automatischen Kompatibilitätsprüfung trägt außerdem dazu bei, dass Beeinträchtigungen hinsichtlich der Kompatibilität mit dem Open-Source-Projekt ausgeschlossen sind."

Kafka, ursprünglich von Confluent-Mitarbeitern entwickelt, wird mittlerweile als Projekt von der Apache Software Foundation betreut. Es agiert als fehlertolerantes und hoch skalierbares Echtzeit-Nachrichtensystem und verwertet neuartige Dateninfrastrukturen, die über massiv-parallele Rohdaten-Cluster ermöglicht werden. Besonders für Systeme, die sehr unterschiedliche Anforderungen erfüllen müssen, stellt die Fähigkeit von Kafka, hohe Datenvolumina als Echtzeit-Stream zur Nutzung bereitzustellen, einen erheblichen Vorteil dar. Die Anwendungsmöglichkeiten reichen von Batch-Systemen wie Hadoop über Echtzeit-Systeme, die einen Zugriff mit geringer Latenz erfordern, bis hin zu Maschinen, die Datenströme sofort nach deren Eintreffen umwandeln.

Trägerorganisationen der Initiative:

Accenture
Capgemini
Celer Technologies
Corvil
Couchbase
Dataguise
Dell Computer
E8 Security
Fortscale
Intel
NetFlow Logic
NetIQ
Oracle
Pentaho
Quaero
Rocana
SGI
StreamSets
Syncsort
Talend
TCS
Teradata
Tibco

Ergänzende Zitate:

• Accenture
  „Accenture engagiert sich dafür, technologische Ökosysteme mit allen notwendigen Tools auszustatten, damit unsere Kunden Daten in einen Vermögenswert umwandeln können, der in Echtzeit zu Entscheidungen und Ergebnissen führt. Wir unterstützen unsere Kunden in dem Bestreben einer datengesteuerten, digitalen Transformation. Accenture und Cloudera haben im Juni 2014 eine offizielle Allianz gebildet, damit die gemeinsamen Kunden aller Branchen noch schneller Daten erfassen, darauf zugreifen und diese auswerten können. Das neue Open Source-Testsystem zur Kompatibilität kann Entwicklern dabei helfen, Kundenanwendungen unter Einbindung von Apache Kafka einfacher und effizienter zu realisieren.“
  - Narendra Mulani, Senior Managing Director, Accenture Analytics

• Capgemini
  „Komponenten zur Echtzeit-Entscheidungsfähigkeit sind bereits in den meisten Big-Data-Projekten enthalten. Dabei gewinnen Open-Source-Technologien wie Kafka, Sqoop, Flume und natürlich die entsprechenden APIs zusehends an Bedeutung. Mehr als je zuvor wird heutzutage eine schnelle Markteinführung gefordert. Der Einsatz eines Open-Source-Testsystems zur Prüfung der Kompatibilität trägt dazu bei, die Markteinführungszeiten drastisch zu verkürzen und ebenso die Zuverlässigkeit der entscheidenden Geschäftsfunktionen zu verbessern.”
  -- Manuel Sevilla, CTO Global Insights & Data Practice

• Corvil
  „Als Anbieter von Systemen zur Netzwerk-Datenanalyse für operative IT-Intelligence muss Corvil häufig die Integration umfangreicher Big-Data-Lösungen realisieren. Standards wie Sqoop und Flume reduzieren den erforderlichen Entwicklungsaufwand erheblich und ermöglichen es uns, auf die Anforderungen des Marktes nach höherer Agilität zu reagieren. Es ist äußerst vorteilhaft zu sehen, dass solche Standards in großem Umfang aktualisiert werden, und zu wissen, dass die Implementierungen von Cloudera überprüft werden."
  -- Donal O'Sullivan, VP Products

• Couchbase
  „Als Open Source NoSQL-Anbieter unterstützen wir nachhaltig jede Anstrengung, die es Unternehmen und Entwicklern einfacher macht, auf offenen Technologien aufzubauen. Viele Kunden von Couchbase, wie etwa PayPal und LivePerson, nutzen Apache Kafka und setzen regelmäßig Open-Source-Technologie für innovative Big-Data-Lösungen ein. Ein kostenloses, offenes Testsystem macht es Unternehmen leichter, die zur Unterstützung entscheidender Aufgaben erforderliche Open-Source-Technologie einzusetzen."
  -- Bob Wiederhold, CEO

• Fortscale
  „Als Early-Adopter von Open-Source-Technologien glauben wir bei Fortscale, dass die Anstrengungen von Cloudera zur beschleunigten Einführung von Apache Kafka ein schnelleres Wachstum von innovativen Lösungen ermöglichen, die effektiv skalieren können und damit den Kunden einen größeren Nutzen bringen. In Verbindung mit von Fortscale gelieferten Produkten, die auf Hadoop, Kafka und Flume als Schlüsselbausteinen aufbauen, wurde dies bereits vielfach unter Beweis gestellt."
  -- Guy Mordecai, Director of Product Management

• Intel Corporation
  „Unternehmen wie Intel investieren zunehmend in Big-Data-Analytics-Lösungen, die die Erhebung und Verarbeitung von Streaming- ebenso wie von Massendaten erfordern. Plattformen auf Basis offener Standards, Open-Source-Software und offene APIs können dazu beitragen, die Kosten und die Komplexität der Anwendungsentwicklung und deren Implementierung deutlich zu reduzieren. Intel engagiert sich seit vielen Jahren für standardbasierte Innovationen und unterstützt diese Initiative, um eine bessere Vereinbarkeit von Schlüsselkomponenten der Apache Hadoop-Plattform zu ermöglichen."
  -- Ron Kasabian, VP Data Center Group and General Manager, Big Data Solutions

• NetFlow Logic
  „Von der Übernahme offener Standards wie Kafka, Flume und Sqoop in die nächste Generation von Big-Data-Plattformen profitiert die gesamte Gemeinschaft. Solche Initiativen ermöglichen es den Nutzern, die Entwicklung und Einführung von Anwendungen der nächsten Generation zu beschleunigen."
  -- Damian Miller, VP Customer Success

• NetIQ
  „Heute ist es wichtiger denn je, dass Organisationen mit Funktionen ausgestattet werden, damit sie die gewaltigen Mengen gesammelter Daten in einen größeren Kontext stellen und echte Intelligenz extrahieren können. Die Arbeit, die Cloudera und die beteiligten Partner in Richtung offener Standards leisten, ist ein wichtiger Meilenstein für die Branche. Wir freuen uns, dieses Projekt zu unterstützen, damit Unternehmen abgesicherte Entscheidungen treffen können."
  -- David Corlette, Sr. Product Manager, NetIQ security portfolio of Micro Focus

• Rocana
  „Es ist toll, dass die Apache-Community in das Testing von APIs investiert. Dies ist ein enormer Vorteil für ISVs wie Rocana, die auf ein breites Spektrum an Projekten bauen."
  -- Eric Sammer, CTO

• SGI
  „Wir erwarten, dass mit der Einführung offener Standards wie Apache Kafka, Sqoop und Flume die Grundlagen für die bald zu erwartenden, großen Auslastungen von Big-Data-Analytics geschaffen werden. Den Entwicklern freien und offenen Zugang zu Tools zu verschaffen, fördert nicht nur Innovation und Zusammenarbeit in der gesamten Data-Sciene-Community, sondern hilft auch, Branchen mit intensiver Datennutzung die Rolle des High Performance Computing über das gesamte Unternehmen hinweg neuerlich vor Augen zu führen."
  -- Bob Braham, CMO

• StreamSets
  „Ebenso wie Cloudera, widmet sich StreamSets in hohem Maße der Förderung der Akzeptanz von offenen, Multi-Vendor-Standards als wichtige Bausteine der Big Data-Plattformen von morgen. Als wichtiger Bestandteil des StreamSets-Angebot, ermöglicht Apache Kafka die schnellere Erfassung von größeren Datenmengen und deren Überführung in analytische Workloads der nächsten Generation. Wir unterstützen diese Initiative eines Open-Source-Testsystems zur Kompatibilität, denn damit wird die Entwicklung über das ganze Ökosystem hinweg deutlich beschleunigt."
  -- Arvind Prabhakar, CTO

• Syncsort
  „Wir freuen uns darüber, dass wir an der Inititative von Cloudera und Confluent zur Open-Source-API-Kompatibilität teilnehmen können. Damit wird ein Beitrag geleistet, die Beteiligung von Anbietern und die Akzeptanz beim Kunden deutlich zu erhöhen."
  -- Tendu Yogurtcu, General Manager for Big Data

• TCS
  „In Rahmen unsere Kundenprojekte sehen wir, dass der Erfolg wirkungsvoller Big-Data-Systeme entscheidend von der Effizienz des Datenzuflusses abhängt. Dies reicht von traditionell chargenorientierten Systemen bis hin zu den aufregenden, neuen Streaming-Anwendungen, die im Zeitalter des Internet der Dinge nötig sind. Wir glauben, dass Open-Source-Standards wie Kafka, Flume und Sqoop und die zugehörigen Testsysteme zur raschen Akzeptanz von Big Data-Anwendungen beitragen werden."
  -- Dr. Satya Ramaswamy, Global Head of TCS Digital Enterprise

• Teradata
  „Teradata unterstützt die Initiative zum Testsytem für die Apache Kafka-Kompatibilität. Gemeinsam können wir die Weiterentwicklung dieser Open-Source-Technologie optimieren, die unseren Kunden eine Auswahl zusätzlicher Tools ermöglicht. Open-Source-Technologien wie Kafka stellen eine wichtige Ergänzung des bestehenden Analyse-Ökosystems dar."
  -- Chris Twogood, VP Products and Services

• TIBCO
  „TIBCO ist bestrebt, seinen Kunden den Nutzen offener Standards nahezubringen. Jeder Ansatz, die Akzeptanz von offenen Standards wie Kafka, Flume und Sqoop in der nächsten Generation von Big-Data-Plattformen zu fördern, stellt für unsere Kunden, für die Branche und für das ganze IT-Ökosystem eine positive Entwicklung dar."
  -- Karl Van den Bergh, VP Product and Cloud