Testdatenmanagement: Erzeugen von authentischen Daten! In diesem Artikel wird gezeigt, wie man realitätsnahe Daten synthetisiert, um ein vollständiges Datenbankschema mit referenzieller Integrität in einem einzigen Schritt zu befüllen.
IRI RowGen generiert Datensätze in verschiedenen Formaten, darunter Flat-Files, Datenbanktabellen und Berichte. Dies geschieht entweder durch zufällige Erzeugung von Werten in bestimmten Datentypen, Bereichen und Verteilungen oder durch die zufällige Auswahl von Daten aus Nachschlagetabellen oder externen "Set-Dateien". Die Wahl zwischen diesen beiden Methoden kann ad hoc getroffen werden oder basierend auf Spaltenregeln, die über verschiedene Tabellen hinweg gelten.
Die Verwendung von Set-Dateien ermöglicht die Erzeugung realistischer Daten für Spalten, die Namen, Orte, Adressen und andere nicht-numerische Werte enthalten. IRI stellt einige vorgefertigte Set-Dateien bereit, aber sie können auch leicht beschafft oder selbst erstellt werden.
Eine sichere und schnelle Lösung für das Testdatenmanagement (TDM): IRI führte im Jahr 2004 das Produkt RowGen ein und erweiterte es später, um strukturierte und referenziell korrekte Datenbankschemata aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann nun auch neue Datenformate generieren, rechnerisch gültige Kennnummern und Identifikationsnummern erstellen, Sätze für die Bearbeitung von All-Pairs generieren, Nullen und realistische Wertverteilungen erzeugen sowie in ETL- und CI/CD-Pipelines arbeiten. Es kann auch Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDFs und Word-Dokumente sowie Bilder mit eingebetteten Testdaten auffüllen, wenn es zusammen mit der IRI DarkShield-Such-/Masken-API verwendet wird.
Testdaten für DevOps (TestOps): DevOps zielt darauf ab, den Softwareentwicklungszyklus zu optimieren und die Bereitstellung von Software zu beschleunigen. Entwickler nutzen häufig CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Mit den Datenmaskierungs-, Subsetting- und Synthesetools von IRI Voracity erstellte Testdaten können in Jenkins, Amazon CodePipeline, Azure DevOps, GitLab und anderen Tools ausgeführt und genutzt werden, um die Funktionalität und Leistung der Software bei jedem Build zu überprüfen.
Die aufkommende Disziplin des TestOps konzentriert sich auf die operativen Aspekte des Testens im Softwareentwicklungszyklus. Dazu gehört die Sammlung, Vorbereitung und Sicherung von Testdaten, Produktionsdaten und Testfallquellen, um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren und die Qualität der Software sicherzustellen. Die intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielen eine Schlüsselrolle für TestOps und tragen gleichzeitig zur Verbesserung der DevOps-Qualität bei und minimieren Datenschutzrisiken.
Testdaten für MLOps: Reichhaltige, anonymisierte Daten sind auch für das Testen im Bereich maschinelles Lernen (MLOps) von großer Bedeutung. Hierbei geht es um das Speichern, Laden, Transformieren und Testen von Daten sowie die Validierung von Modellen. IRI RowGen kann beispielsweise große, realistische Dateien in Bulk-Load-Formaten wie CSV und ML-Modellformaten wie PMML/XML und PFA/JSON schnell synthetisieren. Alternativ können die Datenerkennungs- und Maskierungswerkzeuge IRI FieldShield und DarkShield in Voracity Datenbanken, Dateien oder Datenströme durchsuchen und bereinigen, die für das maschinelle Lernen verwendet werden sollen.
Testdaten für DataOps: Bei der Umsetzung eines DataOps-Testansatzes für ETL-Projekte geht es darum, Tests für Quell- und Ziel-Datensätze zu automatisieren und sicherzustellen, dass diese Datensätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne dabei Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und Automatisierung von Analysetests auf verschiedene Weisen. Eine Möglichkeit besteht darin, Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese zu kombinieren. Einzigartig an Voracity ist die Unterstützung von Metadaten und Engine für diese Aufgabenkonsolidierung im Hintergrund. In einem einzigen Durchlauf durch das SortCL-Datenverarbeitungsprogramm von Voracity können Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Alternativ kann das Programm Produktionsdatenquellen lesen, integrieren, transformieren, Daten bereinigen, maskieren und in die gewünschten Formate umwandeln.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
IRI RowGen generiert Datensätze in verschiedenen Formaten, darunter Flat-Files, Datenbanktabellen und Berichte. Dies geschieht entweder durch zufällige Erzeugung von Werten in bestimmten Datentypen, Bereichen und Verteilungen oder durch die zufällige Auswahl von Daten aus Nachschlagetabellen oder externen "Set-Dateien". Die Wahl zwischen diesen beiden Methoden kann ad hoc getroffen werden oder basierend auf Spaltenregeln, die über verschiedene Tabellen hinweg gelten.
Die Verwendung von Set-Dateien ermöglicht die Erzeugung realistischer Daten für Spalten, die Namen, Orte, Adressen und andere nicht-numerische Werte enthalten. IRI stellt einige vorgefertigte Set-Dateien bereit, aber sie können auch leicht beschafft oder selbst erstellt werden.
Eine sichere und schnelle Lösung für das Testdatenmanagement (TDM): IRI führte im Jahr 2004 das Produkt RowGen ein und erweiterte es später, um strukturierte und referenziell korrekte Datenbankschemata aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann nun auch neue Datenformate generieren, rechnerisch gültige Kennnummern und Identifikationsnummern erstellen, Sätze für die Bearbeitung von All-Pairs generieren, Nullen und realistische Wertverteilungen erzeugen sowie in ETL- und CI/CD-Pipelines arbeiten. Es kann auch Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDFs und Word-Dokumente sowie Bilder mit eingebetteten Testdaten auffüllen, wenn es zusammen mit der IRI DarkShield-Such-/Masken-API verwendet wird.
Testdaten für DevOps (TestOps): DevOps zielt darauf ab, den Softwareentwicklungszyklus zu optimieren und die Bereitstellung von Software zu beschleunigen. Entwickler nutzen häufig CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Mit den Datenmaskierungs-, Subsetting- und Synthesetools von IRI Voracity erstellte Testdaten können in Jenkins, Amazon CodePipeline, Azure DevOps, GitLab und anderen Tools ausgeführt und genutzt werden, um die Funktionalität und Leistung der Software bei jedem Build zu überprüfen.
Die aufkommende Disziplin des TestOps konzentriert sich auf die operativen Aspekte des Testens im Softwareentwicklungszyklus. Dazu gehört die Sammlung, Vorbereitung und Sicherung von Testdaten, Produktionsdaten und Testfallquellen, um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren und die Qualität der Software sicherzustellen. Die intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielen eine Schlüsselrolle für TestOps und tragen gleichzeitig zur Verbesserung der DevOps-Qualität bei und minimieren Datenschutzrisiken.
Testdaten für MLOps: Reichhaltige, anonymisierte Daten sind auch für das Testen im Bereich maschinelles Lernen (MLOps) von großer Bedeutung. Hierbei geht es um das Speichern, Laden, Transformieren und Testen von Daten sowie die Validierung von Modellen. IRI RowGen kann beispielsweise große, realistische Dateien in Bulk-Load-Formaten wie CSV und ML-Modellformaten wie PMML/XML und PFA/JSON schnell synthetisieren. Alternativ können die Datenerkennungs- und Maskierungswerkzeuge IRI FieldShield und DarkShield in Voracity Datenbanken, Dateien oder Datenströme durchsuchen und bereinigen, die für das maschinelle Lernen verwendet werden sollen.
Testdaten für DataOps: Bei der Umsetzung eines DataOps-Testansatzes für ETL-Projekte geht es darum, Tests für Quell- und Ziel-Datensätze zu automatisieren und sicherzustellen, dass diese Datensätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne dabei Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und Automatisierung von Analysetests auf verschiedene Weisen. Eine Möglichkeit besteht darin, Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese zu kombinieren. Einzigartig an Voracity ist die Unterstützung von Metadaten und Engine für diese Aufgabenkonsolidierung im Hintergrund. In einem einzigen Durchlauf durch das SortCL-Datenverarbeitungsprogramm von Voracity können Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Alternativ kann das Programm Produktionsdatenquellen lesen, integrieren, transformieren, Daten bereinigen, maskieren und in die gewünschten Formate umwandeln.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
