Synthetisieren realistischer Daten mit Set-Dateien: Dieser Artikel demonstriert, wie realistische Daten synthetisiert werden, um ein vollständiges Datenbankschema mit referentieller Integrität in einem Arbeitsgang zu füllen.
IRI RowGen erstellt Datenzeilen in Flat-Files, Datenbanktabellen und Reports entweder durch zufällige Generierung von Spaltenwerten in bestimmten Datentypen, Bereichen und Verteilungen oder durch zufällige Auswahl von Daten aus Nachschlagetabellen oder externen "Set-Dateien". Die Wahl einer der beiden Methoden kann ad hoc oder als tabellenübergreifende Regeln auf einer spaltenweisen Basis festgelegt werden.
Set-Dateien bieten mehr Realismus für synthetisierte Spalten, die Namen, Orte, Adressen und andere Eigennamen oder nicht numerische Werte enthalten. IRI liefert mehrere vorgefertigte Set-Dateien mit dem Produkt aus, aber sie sind ansonsten sehr einfach zu beschaffen oder zu erstellen. In diesem Artikel finden Sie weitere Einzelheiten.
Sichere und schnelle Lösung für TDM: 2004 brachte IRI das RowGen-Produkt auf den Markt und erweiterte es später, um vorsortierte, strukturell und referenziell korrekte RDB-Schemata nur aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann jetzt auch: neue Datenformate und rechnerisch gültige CCNs und NIDs generieren sowie Sätze für die Behandlung von All-Pairs; Nullen und realistische Wertverteilungen erstellen; in ETL- und CI/CD-Pipelines arbeiten; und Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDF- und Word-Dokumenten und Bildern mit eingebetteten Testdaten auffüllen, wenn sie mit der IRI DarkShield-Such-/Masken-API verwendet werden.
Testdaten für DevOps (TestOps): DevOps rationalisiert die Abläufe im Softwareentwicklungszyklus (SDLC), um die Softwarebereitstellung zu beschleunigen. Viele Entwickler nutzen CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Testdaten, die mit den Datenmaskierungs-, Subsetting- oder Synthesetools von IRI Voracity erstellt wurden, können von Jenkins, Amazon CodePipeline, Azure DevOps, GitLab usw. ausgeführt und genutzt werden, um die Funktionalität und Kapazität der Software bei jedem Build zu bewerten.
Die aufkommende TestOps-Disziplin verwaltet die operativen Aspekte des Testens im SDLC, wozu das Sammeln, Vorbereiten und Sichern von Expositionsdaten, Produktionssystemen und Testfallquellen gehört ... um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren (aber auch um die Softwarequalität zu gewährleisten). Intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielt daher eine Schlüsselrolle für TestOps und verbessert gleichzeitig die DevOps-QA und mildert Datenschutzrisiken.
Testdaten für MLOps: Reichhaltige, anonyme Daten helfen auch beim Testen von maschinellen Lernvorgängen (MLOps), zu denen das Speichern, Laden und Transformieren von Daten sowie das Testen von Modellen und die Datenvalidierung gehören. Für jede dieser Phasen kann zum Beispiel das IRI RowGen Produkt in Voracity schnell riesige, realistische Dateien in Bulk-Load (z.B. CSV) und ML-Modellformaten wie PMML/XML und PFA/JSON synthetisieren.
Alternativ können die FieldShield oder DarkShield Datenerkennungs- und Maskierungswerkzeuge in Voracity Datenbanksammlungen, Dateien oder Datenströme, die beim maschinellen Lernen verwendet werden, für die sichere Verwendung beim Testen durchsuchen und säubern.
Testdaten für DataOps: Die Implementierung eines DataOps-Testansatzes für ETL-Projekte bedeutet die Automatisierung von Tests für Quell- und Zieldatensätze und die Sicherstellung, dass diese Sätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und die Automatisierung von Analysetests auf verschiedene Weise.
Eine Möglichkeit besteht in der Kombination von Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese. Einzigartig an Voracity ist die Back-End-Metadaten- und Engine-Unterstützung für eine solche Aufgabenkonsolidierung. In einem einzigen E/A-Durchlauf durch das oben erwähnte SortCL-Datenverarbeitungsprogramm können Voracity-Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Umgekehrt kann das Programm eine oder mehrere Produktionsquellen lesen, sie integrieren und transformieren sowie Daten bereinigen, maskieren und in die gewünschten Ziele umformatieren.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
IRI RowGen erstellt Datenzeilen in Flat-Files, Datenbanktabellen und Reports entweder durch zufällige Generierung von Spaltenwerten in bestimmten Datentypen, Bereichen und Verteilungen oder durch zufällige Auswahl von Daten aus Nachschlagetabellen oder externen "Set-Dateien". Die Wahl einer der beiden Methoden kann ad hoc oder als tabellenübergreifende Regeln auf einer spaltenweisen Basis festgelegt werden.
Set-Dateien bieten mehr Realismus für synthetisierte Spalten, die Namen, Orte, Adressen und andere Eigennamen oder nicht numerische Werte enthalten. IRI liefert mehrere vorgefertigte Set-Dateien mit dem Produkt aus, aber sie sind ansonsten sehr einfach zu beschaffen oder zu erstellen. In diesem Artikel finden Sie weitere Einzelheiten.
Sichere und schnelle Lösung für TDM: 2004 brachte IRI das RowGen-Produkt auf den Markt und erweiterte es später, um vorsortierte, strukturell und referenziell korrekte RDB-Schemata nur aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann jetzt auch: neue Datenformate und rechnerisch gültige CCNs und NIDs generieren sowie Sätze für die Behandlung von All-Pairs; Nullen und realistische Wertverteilungen erstellen; in ETL- und CI/CD-Pipelines arbeiten; und Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDF- und Word-Dokumenten und Bildern mit eingebetteten Testdaten auffüllen, wenn sie mit der IRI DarkShield-Such-/Masken-API verwendet werden.
Testdaten für DevOps (TestOps): DevOps rationalisiert die Abläufe im Softwareentwicklungszyklus (SDLC), um die Softwarebereitstellung zu beschleunigen. Viele Entwickler nutzen CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Testdaten, die mit den Datenmaskierungs-, Subsetting- oder Synthesetools von IRI Voracity erstellt wurden, können von Jenkins, Amazon CodePipeline, Azure DevOps, GitLab usw. ausgeführt und genutzt werden, um die Funktionalität und Kapazität der Software bei jedem Build zu bewerten.
Die aufkommende TestOps-Disziplin verwaltet die operativen Aspekte des Testens im SDLC, wozu das Sammeln, Vorbereiten und Sichern von Expositionsdaten, Produktionssystemen und Testfallquellen gehört ... um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren (aber auch um die Softwarequalität zu gewährleisten). Intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielt daher eine Schlüsselrolle für TestOps und verbessert gleichzeitig die DevOps-QA und mildert Datenschutzrisiken.
Testdaten für MLOps: Reichhaltige, anonyme Daten helfen auch beim Testen von maschinellen Lernvorgängen (MLOps), zu denen das Speichern, Laden und Transformieren von Daten sowie das Testen von Modellen und die Datenvalidierung gehören. Für jede dieser Phasen kann zum Beispiel das IRI RowGen Produkt in Voracity schnell riesige, realistische Dateien in Bulk-Load (z.B. CSV) und ML-Modellformaten wie PMML/XML und PFA/JSON synthetisieren.
Alternativ können die FieldShield oder DarkShield Datenerkennungs- und Maskierungswerkzeuge in Voracity Datenbanksammlungen, Dateien oder Datenströme, die beim maschinellen Lernen verwendet werden, für die sichere Verwendung beim Testen durchsuchen und säubern.
Testdaten für DataOps: Die Implementierung eines DataOps-Testansatzes für ETL-Projekte bedeutet die Automatisierung von Tests für Quell- und Zieldatensätze und die Sicherstellung, dass diese Sätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und die Automatisierung von Analysetests auf verschiedene Weise.
Eine Möglichkeit besteht in der Kombination von Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese. Einzigartig an Voracity ist die Back-End-Metadaten- und Engine-Unterstützung für eine solche Aufgabenkonsolidierung. In einem einzigen E/A-Durchlauf durch das oben erwähnte SortCL-Datenverarbeitungsprogramm können Voracity-Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Umgekehrt kann das Programm eine oder mehrere Produktionsquellen lesen, sie integrieren und transformieren sowie Daten bereinigen, maskieren und in die gewünschten Ziele umformatieren.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
