Teradata, das weltweit führende Unternehmen für integrierte analytische Datenmanagementlösungen, hat mit Teradata Columnar eine weitere bahnbrechende Innovation seiner massiv-parallelen Datenbank Version 14 angekündigt. Teradata Columnar ermöglicht den Anwendern, Daten nicht nur zeilen- sondern auch spaltenbasiert (hybrid) zu speichern, weitere dramatische Laufzeitverbesserungen, höhere Flexibilität und bessere Kompressionsraten zu erzielen. Gerade in Zeiten wachsender Datenvolumen ("Big Data"), die in immer kürzer werdenden Zyklen zu analysieren sind, wird die Verarbeitungs- beziehungsweise Auswerteeffektivität durch diese Fähigkeit signifikant erhöht.
Datenbanken können Daten zeilen- als auch spaltenweise speichern, wobei die Frage welche der beiden Methoden vorteilhafter ist, sowohl von den gespeicherten Datentypen als auch von den genutzten Analyseverfahren abhängen. Teradata setzt deshalb auf das hybride Verfahren, um ihren Anwendern beide Optionen zu eröffnen, das heißt sowohl auf spalten- als auch auf zeilenbasierte Datenbanktabellen zuzugreifen, und somit analytische Anwendungen maximal leistungsfähig und flexibel zu gestalten.
"Diese Flexibilität verschafft Unternehmen die Möglichkeit, laufzeitbezogene Leistungsvereinbarungen trotz riesiger Datenmengen und einer stetig wachsenden Zahl von Anwendern zu erfüllen. Mit Teradata Columnar können unsere Kunden noch leistungsfähigere Analyseverfahren für noch mehr Nutzer bereitstellen", sagte Hermann Wimmer, President Europe, Middle East and Africa (EMEA), Teradata. "Teradata Columnar ermöglicht es, die Lauf- und Antwortzeiten analytischer Anwendungen durch das entsprechende Tabellendesign weiter zu verkürzen. Darüber hinaus wählt Teradata Columnar automatisch die beste Kompressionsmethode und passt diese dynamisch an die sich ständig verändernden Daten an."
Was ist der Vorteil von Teradata Columnar?
Teradata Columnar erhöht die Datenbank-Performance durch die spaltenweise Speicherung, so dass lediglich exakt die Daten, die für eine Abfrage benötigt werden, in den Arbeitsspeicher geladen werden. Das führt in diesen Anwendungsfällen im Vergleich zu einer zeilenweisen Datenablegung zu einer dramatischen Reduzierung der ressourcen- und zeitintensiven In-/Output (I/O) Leseprozesse. Damit wird der massiv-parallelen Datenbank Teradata neben der überlegenden Skalierbarkeit oder dem führenden Lastverteilungsmanagement ein weiteres marktdifferenzierendes Merkmal hinzugefügt.
"Teradata Columnar ist ein strategischer Sprung vorwärts und die erste wirklich wegweisende Umsetzung innerhalb unserer Industrie, denn bis jetzt gab es entweder ausschließlich spaltenbasierte Lösungen mit all ihren Beschränkungen oder unausgereifte Add-ons, die zeilenorientierte Datenbanken um eine spaltenbasierte Datenspeicherung ergänzen sollten. Teradata Columnar ist kein Add-on, sondern vollständig mit der führenden Datenbanksoftware integriert. Die Integration mit zeilenbasierten Speichermethoden ist maximal flexibel und benutzerfreundlich, so dass Unternehmen damit das meiste aus ihren Daten herausholen können. Es ist die erste hybride Datenbank, die die spaltenbasierte Datenspeicherung für den Einsatz im Unternehmen tauglich macht", sagte Wimmer.
"Die spaltenbasierte Datenspeicherung verändert die Branche grundlegend", sagte Donald Feinberg, Vice President and Distinguished Analyst, Gartner. "Sie ist eine wertvolle Schlüsseltechnologie, mit der Unternehmen ihre Informationsinfrastruktur an die steigende Nachfrage nach zeitnahen und verlässlichen Erkenntnissen anpassen können. Darüber hinaus wird sie weitreichende Auswirkungen auf das Systemdesign haben und große Kosteneinsparungen mit sich bringen."
Die hybride Architektur von Teradata Columnar unterstützt auch diejenigen geschäftskritischen Anwendungen, die auf große Datenmengen in spaltenbasierten Tabellen zugreifen. Die optimale Integration bedeutet mithin auch, dass Teradatas existierenden Differnenzierungsvorteile wie die weit überlegende Skalierbarkeit, die Workload Management-Fähigkeiten, der kostenbasierende Optimizer, als auch In-Database-Analysefertigkeiten uneingeschränkt mit Teradata Columnar verwendbar sind.
"Teradata Columnar vereint die Leistungsfähigkeit der hybriden zeilen- und spaltenbasierten Fähigkeiten mit Hochverfügbarkeit, SQL-Unterstützung sowie den Optimierungstools und dem Workload Management von Teradata", sagte David Menninger, Vice President and Research Director, Ventana Research. "Jetzt können Teradata Kunden von den in die Teradata Plattform integrierten Vorteilen spaltenbasierter Datenbanken vollständig profitieren."
Automatische Komprimierung
Die Kompressionsverfahren von Teradata Columnar reduzieren den Lese-I/O (Input-/Output), indem die Daten auf einen Bruchteil komprimiert werden. Teradata Columnar führt die Datenkomprimierung automatisch durch und entlastet den Datenbankadministrator so von der Aufgabe, die verschiedenen komplexen Kompressionsverfahren zu vergleichen und auswählen zu müssen.
Darüber hinaus passt Teradata Columnar die Kompressionsverfahren automatisch an die über den Zeitverlauf vorkommende Änderungen der Daten an, das heißt sollte sich ein alternativer Komprimierungsmechanismus als günstiger erweisen, wird dieser angewandt, um jederzeit eine optimale Speichernutzung zu gewährleisten.
Um die Daten effizient zu komprimieren, erzeugt Teradata Columnar in jeder Spalte sogenannte Container, um a) maximale Datenkompression zu erzielen und b) für jeden Container den geeigneten Kompressionstyp anzuwenden. Im Vergleich zu weniger ausgereiften Implementierungen steigert Teradata Columnar so die Kompressionsrate der Daten und verbessert die Performance des Systems deutlich.
In Teradata Columnar sind sechs Kompressionsverfahren integriert: Run Length Encoding (RLE), Dictionary, Trim, Delta on Mean, Null und UTF8. Ein Beispiel für die automatische Komprimierung der Daten durch Teradata Columnar: ein Getränkehändler verkauft im Dezember ein Getränk wiederholt besonders häufig. Die Daten lassen sich dann mit einer Kombination aus RLE und aus dem Dictionary-Verfahren am besten komprimieren. Im Mai, wenn dieses Getränk seltener oder kaum verkauft wird, wendet Teradata Columnar nur noch das für diesen Fall geeignete Dictionary-Verfahren an.
Vorteile für Unternehmen aller Branchen
Wie die folgenden Beispiele zeigen, profitieren Anwender aller Industrien von Teradatas Columnar Eigenschaft, wenn es um optimale Entscheidungsfindung beziehungsweise effiziente Analysetätigkeiten geht:
Telekommunikationsbranche - Während ein Kunde mit einem Call Center Mitarbeiter spricht, muss dieser die Call Detail Records (CDR) des Kunden möglichst schnell durchsuchen, um eine Frage des Kunden beantworten zu können. Von den weit über 100 Spalten, die diese CDRs haben können, benötigt der Mitarbeiter aber meist nur wenige. Da Teradata Columnar dem Mitarbeiter exakt diese Daten aus diesen Spalten zur Verfügung stellt, wird er die Fragen der Kunden wesentlich schneller beantworten können.
Finanzdienstleistungen - Um Kunden gezielt anzusprechen, benötigt der Marketing-Manager einer Bank meist nur wenige Merkmale. Hierzu zählen beispielsweise die Kundennummer, das Alter und Geschlecht, der letzte Vertragsabschluss oder der zuletzt vom Kunden genutzte Kommunikationskanal. Die CRM-Lösung der Bank erfasst jedoch regelmäßig hunderte dieser Merkmale. Über den spaltenbasierten Datenzugriff werden nur die tatsächlich benötigten Daten ausgelesen, so dass Antworten auf Abfragen in Sekundenbruchteilen erfolgen können, wie es beispielsweise für das Inbound-Marketing erforderlich ist.
Einzelhandel - Ein Einkäufer bestellt Waren nach und will diese anhand ihrer Bestandseinheit auswählen. Typischerweise speichern die Demand Chain Management-Systeme im Einzelhandel jedoch eine große Zahl von Merkmalen für jeden Artikel einschließlich Datum, Filiale und Bestandseinheit, da diese Daten für unterschiedliche Reports benötigt werden. Über den spaltenbasierten Zugriff erhält der Einkäufer die Daten wesentlich schneller und kann die erforderlichen Waren umgehend bestellen.
Teradata Columnar wird ab Dezember 2011 als Teil von Teradata 14 am Markt verfügbar sein. Diese erweiterte Teradata Datenbank stellt die analytische Hochleistungskomponente dar, die für die gesamte Teradata Platformfamilie zur Verfügung stehen wird. Teradata 14 wird auch in der Data Mart Edition als reine Softwarelizenz sowie als Teradata Express für Cloud-basierte Lösungen erhältlich sein.
Weiterführende Links
Artikel in englischer Sprache: "Teradata is Thinking Big", Stephen Swoyer
http://tdwi.org/...
Datenbanken können Daten zeilen- als auch spaltenweise speichern, wobei die Frage welche der beiden Methoden vorteilhafter ist, sowohl von den gespeicherten Datentypen als auch von den genutzten Analyseverfahren abhängen. Teradata setzt deshalb auf das hybride Verfahren, um ihren Anwendern beide Optionen zu eröffnen, das heißt sowohl auf spalten- als auch auf zeilenbasierte Datenbanktabellen zuzugreifen, und somit analytische Anwendungen maximal leistungsfähig und flexibel zu gestalten.
"Diese Flexibilität verschafft Unternehmen die Möglichkeit, laufzeitbezogene Leistungsvereinbarungen trotz riesiger Datenmengen und einer stetig wachsenden Zahl von Anwendern zu erfüllen. Mit Teradata Columnar können unsere Kunden noch leistungsfähigere Analyseverfahren für noch mehr Nutzer bereitstellen", sagte Hermann Wimmer, President Europe, Middle East and Africa (EMEA), Teradata. "Teradata Columnar ermöglicht es, die Lauf- und Antwortzeiten analytischer Anwendungen durch das entsprechende Tabellendesign weiter zu verkürzen. Darüber hinaus wählt Teradata Columnar automatisch die beste Kompressionsmethode und passt diese dynamisch an die sich ständig verändernden Daten an."
Was ist der Vorteil von Teradata Columnar?
Teradata Columnar erhöht die Datenbank-Performance durch die spaltenweise Speicherung, so dass lediglich exakt die Daten, die für eine Abfrage benötigt werden, in den Arbeitsspeicher geladen werden. Das führt in diesen Anwendungsfällen im Vergleich zu einer zeilenweisen Datenablegung zu einer dramatischen Reduzierung der ressourcen- und zeitintensiven In-/Output (I/O) Leseprozesse. Damit wird der massiv-parallelen Datenbank Teradata neben der überlegenden Skalierbarkeit oder dem führenden Lastverteilungsmanagement ein weiteres marktdifferenzierendes Merkmal hinzugefügt.
"Teradata Columnar ist ein strategischer Sprung vorwärts und die erste wirklich wegweisende Umsetzung innerhalb unserer Industrie, denn bis jetzt gab es entweder ausschließlich spaltenbasierte Lösungen mit all ihren Beschränkungen oder unausgereifte Add-ons, die zeilenorientierte Datenbanken um eine spaltenbasierte Datenspeicherung ergänzen sollten. Teradata Columnar ist kein Add-on, sondern vollständig mit der führenden Datenbanksoftware integriert. Die Integration mit zeilenbasierten Speichermethoden ist maximal flexibel und benutzerfreundlich, so dass Unternehmen damit das meiste aus ihren Daten herausholen können. Es ist die erste hybride Datenbank, die die spaltenbasierte Datenspeicherung für den Einsatz im Unternehmen tauglich macht", sagte Wimmer.
"Die spaltenbasierte Datenspeicherung verändert die Branche grundlegend", sagte Donald Feinberg, Vice President and Distinguished Analyst, Gartner. "Sie ist eine wertvolle Schlüsseltechnologie, mit der Unternehmen ihre Informationsinfrastruktur an die steigende Nachfrage nach zeitnahen und verlässlichen Erkenntnissen anpassen können. Darüber hinaus wird sie weitreichende Auswirkungen auf das Systemdesign haben und große Kosteneinsparungen mit sich bringen."
Die hybride Architektur von Teradata Columnar unterstützt auch diejenigen geschäftskritischen Anwendungen, die auf große Datenmengen in spaltenbasierten Tabellen zugreifen. Die optimale Integration bedeutet mithin auch, dass Teradatas existierenden Differnenzierungsvorteile wie die weit überlegende Skalierbarkeit, die Workload Management-Fähigkeiten, der kostenbasierende Optimizer, als auch In-Database-Analysefertigkeiten uneingeschränkt mit Teradata Columnar verwendbar sind.
"Teradata Columnar vereint die Leistungsfähigkeit der hybriden zeilen- und spaltenbasierten Fähigkeiten mit Hochverfügbarkeit, SQL-Unterstützung sowie den Optimierungstools und dem Workload Management von Teradata", sagte David Menninger, Vice President and Research Director, Ventana Research. "Jetzt können Teradata Kunden von den in die Teradata Plattform integrierten Vorteilen spaltenbasierter Datenbanken vollständig profitieren."
Automatische Komprimierung
Die Kompressionsverfahren von Teradata Columnar reduzieren den Lese-I/O (Input-/Output), indem die Daten auf einen Bruchteil komprimiert werden. Teradata Columnar führt die Datenkomprimierung automatisch durch und entlastet den Datenbankadministrator so von der Aufgabe, die verschiedenen komplexen Kompressionsverfahren zu vergleichen und auswählen zu müssen.
Darüber hinaus passt Teradata Columnar die Kompressionsverfahren automatisch an die über den Zeitverlauf vorkommende Änderungen der Daten an, das heißt sollte sich ein alternativer Komprimierungsmechanismus als günstiger erweisen, wird dieser angewandt, um jederzeit eine optimale Speichernutzung zu gewährleisten.
Um die Daten effizient zu komprimieren, erzeugt Teradata Columnar in jeder Spalte sogenannte Container, um a) maximale Datenkompression zu erzielen und b) für jeden Container den geeigneten Kompressionstyp anzuwenden. Im Vergleich zu weniger ausgereiften Implementierungen steigert Teradata Columnar so die Kompressionsrate der Daten und verbessert die Performance des Systems deutlich.
In Teradata Columnar sind sechs Kompressionsverfahren integriert: Run Length Encoding (RLE), Dictionary, Trim, Delta on Mean, Null und UTF8. Ein Beispiel für die automatische Komprimierung der Daten durch Teradata Columnar: ein Getränkehändler verkauft im Dezember ein Getränk wiederholt besonders häufig. Die Daten lassen sich dann mit einer Kombination aus RLE und aus dem Dictionary-Verfahren am besten komprimieren. Im Mai, wenn dieses Getränk seltener oder kaum verkauft wird, wendet Teradata Columnar nur noch das für diesen Fall geeignete Dictionary-Verfahren an.
Vorteile für Unternehmen aller Branchen
Wie die folgenden Beispiele zeigen, profitieren Anwender aller Industrien von Teradatas Columnar Eigenschaft, wenn es um optimale Entscheidungsfindung beziehungsweise effiziente Analysetätigkeiten geht:
Telekommunikationsbranche - Während ein Kunde mit einem Call Center Mitarbeiter spricht, muss dieser die Call Detail Records (CDR) des Kunden möglichst schnell durchsuchen, um eine Frage des Kunden beantworten zu können. Von den weit über 100 Spalten, die diese CDRs haben können, benötigt der Mitarbeiter aber meist nur wenige. Da Teradata Columnar dem Mitarbeiter exakt diese Daten aus diesen Spalten zur Verfügung stellt, wird er die Fragen der Kunden wesentlich schneller beantworten können.
Finanzdienstleistungen - Um Kunden gezielt anzusprechen, benötigt der Marketing-Manager einer Bank meist nur wenige Merkmale. Hierzu zählen beispielsweise die Kundennummer, das Alter und Geschlecht, der letzte Vertragsabschluss oder der zuletzt vom Kunden genutzte Kommunikationskanal. Die CRM-Lösung der Bank erfasst jedoch regelmäßig hunderte dieser Merkmale. Über den spaltenbasierten Datenzugriff werden nur die tatsächlich benötigten Daten ausgelesen, so dass Antworten auf Abfragen in Sekundenbruchteilen erfolgen können, wie es beispielsweise für das Inbound-Marketing erforderlich ist.
Einzelhandel - Ein Einkäufer bestellt Waren nach und will diese anhand ihrer Bestandseinheit auswählen. Typischerweise speichern die Demand Chain Management-Systeme im Einzelhandel jedoch eine große Zahl von Merkmalen für jeden Artikel einschließlich Datum, Filiale und Bestandseinheit, da diese Daten für unterschiedliche Reports benötigt werden. Über den spaltenbasierten Zugriff erhält der Einkäufer die Daten wesentlich schneller und kann die erforderlichen Waren umgehend bestellen.
Teradata Columnar wird ab Dezember 2011 als Teil von Teradata 14 am Markt verfügbar sein. Diese erweiterte Teradata Datenbank stellt die analytische Hochleistungskomponente dar, die für die gesamte Teradata Platformfamilie zur Verfügung stehen wird. Teradata 14 wird auch in der Data Mart Edition als reine Softwarelizenz sowie als Teradata Express für Cloud-basierte Lösungen erhältlich sein.
Weiterführende Links
Artikel in englischer Sprache: "Teradata is Thinking Big", Stephen Swoyer
http://tdwi.org/...
