Neuer „InMemory“ Adapter zur schnellen Daten Aufbereitung/Anreicherung
InMemory Adapter - zur schnellen Daten Aufbereitung/AnreicherungDer neue InMemory Adapter kann als absolutes Highlight angesehen werden. Aufgrund der immer leistungsfähigeren Computer mit immer mehr Hauptspeicher wurde nun ein Adapter entwickelt der rein Hauptspeicher basierend arbeitet und diese Leistungsmerkmale vollumfänglich unterstützen kann.
Mit dem InMemory Adapter können beliebig viele „interne“ Tabellen im Hauptspeicher angelegt werden die während der Verarbeitung einer Definition beliebig befüllt, angereichert, verändert und anschließend natürlich auch wieder ausgegeben werden können.
Aufgaben in denen bisher temporäre Datenbank Tabellen benötigt wurden können nun im Handumdrehen auf InMemory Tabellen umgestellt werden. Zur Demonstration wurde das Beispiel „CSV und Excel Daten über SQLite Datenbank zusammenführen“ auf InMemory Tabellen angepasst, inkl. Beispielvideo.
Vorteil: Da die Verarbeitung komplett im Hauptspeicher stattfindet kann so eine erhebliche schnellere Verarbeitung als bisher erzielt werden.
Die Benutzung von InMemory Tabellen ist im Prinzip sehr simpel. Adapter hinzufügen und ggf. einen Namen für die Tabelle vergeben. Felder können entweder vorab hinzugefügt werden oder aber im Designer einfach per Drag&Drop weitere Felder in die Adapter Feldliste ziehen. Optional können die Datentypen noch an die aktuellen Bedürfnisse angepasst werden wobei im Normalfall der Standard FlowHeater Datentyp STRING ausreichend sein sollte.
Die Ausgabe der Datenquelle von InMemory Tabellen auf der READ Seite kann zusätzlich noch ähnlich wie SQL Tabellen per WHERE Klausel eingeschränkt werden. Selbstverständlich kann bei der Ausgabe auch eine abweichende Sortierung vorgegeben werden.
ReleaseNotes zur Version 4.1.4 vom 02.02.2019
Weitere Änderungen
SQL, Lookup und String Replace Heater mit InMemory Tabellen Unterstützung
Die Heater String Replace, SQL und Lookup können direkt auf die neuen InMemory Tabellen zugreifen. Wird hier die InMemory Tabellen Verarbeitung aktiviert kann auch auf Tabellen, die in einem anderen Verarbeitungsschritt als dem aktuellen befüllt wurden, zugegriffen werden. Gerade die Ersetzung von Werten (CSV Lookup) über den String Replace Heater von langen CSV Listen kann so erheblich beschleunigt werden.
Batch Modul - Ausgabe mit Verarbeitungsschritt
Das Batch Modul gibt mit dieser Version den aktuellen Verarbeitungsschritt inkl. der Anzahl der verarbeiteten Daten auf der Kommandozeile sowie im Logfile aus.
If-Then-Else Heater mit Stringvergleich ohne Führende/Abschließende Leerzeichen
Bei der Verarbeitung von Textdateien oder Datenbankfelder kommt es immer wieder vor, dass hier Felder mit Führenden/Abschließenden Leerzeichen vorhanden sind. Sollte mit solchen Feldern eine Bedingung gebastelt werden mussten diese Felder bisher vorher mit dem String Trim Heater bereinigt werden, damit der Vergleich anschließend sauber funktionierte. Mit dieser Version kann im IF-THEN-ELSE Heater angegeben werden ob Führende/Abschließende Leerzeichen im Vergleich mitberücksichtigt werden sollen, oder nicht.
DoWork - Test und Ausführen Dialog mit Anzeige Verarbeitungsschritt
Die Ausgabe von Warnungen und Debug Meldungen im DoWork (Test und Ausführen Dialog) wurde um die Nummer des aktuellen Verarbeitungsschritts erweitert. Die Fehlersuche bei großen Definitionen wird so ein wenig vereinfacht.
TextFile Adapter – Zeilenumbrüche in Feldinhalten automatisch ersetzen
Oft kommt es vor, dass in Datenbankfeldern Inhalte mit Zeilenumbrüchen gespeichert werden. Schlecht ist das bei der Ausgabe in Textdateien wie z.B. als CSV, hier kommt es dann unweigerlich zu Feld bzw. Spaltenverschiebungen. Mit dieser Version unterstützt der TextFile Adapter das automatische bereinigen von evtl. vorhanden Zeilenumbrüchen in/aus Datenbankfeldern.
Designer – Anzeige zuletzt geöffnete Definitionen
Die Anzahl der zuletzt geöffneten Definitionen kann nun im Designer konfiguriert werden. Bisher wurden hier max. die letzten 10 Definitionen angezeigt.
XML Dateien wahlweise mit oder ohne BOM erzeugen
Der XML Adapter unterstützt bei Unicode (UTF) Zeichensätzen die XML Datei Erstellung wahlweise mit oder ohne BOM (byte order mark)
Korrekturen (BugFix)
- Designer - Korrektur im Memory Modus im Zusammenhang mit Parameter setzen
- FlowHeater Server - bei Neuanlage FileMonitoring wird nun per Default die Option Dateiübergabe an ausführbares Programm gesetzt.
- Öffnen älterer Definitionen – Mit Einführung der Verarbeitung mehrere Verarbeitungsschritte der Version 4.3.1 in einer Definition wurde leider die Rückwärtskompatibilität zu älteren Version unterbrochen. Mit dieser Version können nun wieder Definitionen bis Version 1.x geöffnet und verarbeitet werden.
- SQL und Lookup Heater - Bei Angabe eines Standardwertes wurden ab dem zweiten Datensatz keine Parameter im SQL mehr ersetzt.
- AutoID Heater – Zählen von Werten in Verbindung mit GroupBy Heater korrigiert.
- Excel Adapter – Fehler falls versucht wurde eine Schreibgeschütze Excel Arbeitsmappe zu lesen.
- Excel Adapter – Probleme falls dynamische Spaltenzuordnung aktiviert und weniger Spalten im Arbeitsblatt vorhanden waren.
