Livy sorgt für eine einfache Schnittstelle von Applikationen zu Spark, übermittelt Jobs und ruft programmatisch Resultate ab. Im Kern besteht Livy aus einem REST-Server für die Übermittlung, den Betrieb und das Management von Spark-Jobs und Spark-Kontexten. Seine Client-API ermöglicht die fein justierte Auftragserteilung in Spark sowie das synchrone und asynchrone Abrufen von Ergebnissen. Clients können Spark wie einen mandantenfähigen Service nutzen und müssen sich keine Gedanken um Deployment, Konfiguration oder Monitoring machen. Livy macht aus Spark einen mandantenfähigen Service mit isolierten Sitzungen, Sicherheitsmaßnahmen und Nutzeridentitäten.
Zu den Vorzügen von Livy gehören:
- Weniger Reibungsverluste beim Einsatz von Spark – Spark-Clients müssen nicht erst einen Installations- oder Konfigurationsprozess durchlaufen. Für die Kommunikation mit einem http-Endpunkt wird lediglich ein leichtgewichtiger Client benötigt.
- Einsatz von Spark durch Drittanwendungen – Applikationen können mit REST-basierten Client-APIs in Java, Scala oder Python die vollumfängliche Auftragserteilung und Ergebnisabfrage in Spark sowie das Management von Spark-Kontexten weiterentwickeln (Client-APIs für Scala und Python befinden sich derzeit noch in der Entwicklung). Spark lässt sich von Applikationen auf Basis verschiedener Code-Frameworks ansteuern, wie Django für Python bzw. Play für Scala oder Java. Außerdem lässt sich Livy – weil es auf REST basiert – mit wenig Aufwand auch für Applikationen nutzbar machen, die in Sprachen wie Node.js oder Go geschrieben sind.
- Ermöglichung neuer Software-Architekturen – Livy vereinfacht die Spark-Integration in serviceorientierte oder Microservices-basierte Architekturen, die primär über REST interagieren.
„Wir beobachten bei unseren Kunden und Partnern die natürliche Tendenz, Entwicklungsmöglichkeiten von Spark hinsichtlich Client-Anwendungen mit einfachen Spark-Schnittstellen für sich nutzbar machen zu wollen, und Livy ermöglicht ihnen das“, so Anand Iyer, Senior Product Manager bei Cloudera. „Livy öffnet Spark für neue Anwendungsfälle und wir hoffen, dass es eine Entwickler-Community anzieht, die nicht nur Anwendungen auf Livy aufbaut, sondern auch zum Entwicklungsprozess beiträgt und dabei hilft, die API und die Funktionalität zu verbessern. Das Projekt ist immer noch im Entstehen, daher hat jeder Beitrag enorme Auswirkungen.“
Kontakt mit Cloudera
Lesen Sie unsere Blogs: cloudera.com/engblog und vision.cloudera.com
Folgen Sie uns auf Twitter: twitter.com/clouderade
Besuchen Sie uns auf Facebook: facebook.com/cloudera
Treten Sie der Cloudera Community bei: cloudera.com/community
Public Footprint GmbH
Web: www.public-footprint.de