News

InMemory Adapter - zur schnellen Daten Aufbereitung/AnreicherungDer neue InMemory Adapter kann als absolutes Highlight angesehen werden. Aufgrund der immer leistungsfähigeren Computer mit immer mehr Hauptspeicher wurde nun ein Adapter entwickelt der rein Hauptspeicher basierend arbeitet und diese Leistungsmerkmale vollumfänglich unterstützen kann.

Mit dem InMemory Adapter können beliebig viele „interne“ Tabellen im Hauptspeicher angelegt werden die während der Verarbeitung einer Definition beliebig befüllt, angereichert, verändert und anschließend natürlich auch wieder ausgegeben werden können.

Mehrere Verarbeitungsschritte in einer DefinitionMit dieser Version unterstützt der FlowHeater mehrere Verarbeitungsschritte innerhalb einer Definition (.fhd Datei). Es können beliebig viele Verarbeitungsschritte einer Definition hinzugefügt werden, die dann in der angegebenen Reihenfolge nacheinander ausgeführt werden.

Tipp: FlowHeater Parameter stehen „global“ übergreifend in einer Definition zur Verfügung. Hiermit sind einige sehr interessante neue Option bei der Daten Import/Export Verarbeitung möglich. Es ist z.B. möglich über einen vorgelagerten Verarbeitungsschritt bestimmte Datensätze zu zählen, FlowHeater Parametern mit diesen Werten zu befüllen und in einem weiteren Verarbeitungsschritt z.B. als Filterkriterium weiter zu verwenden.

FlowHeater Server - Exit Code BehandlungDer FlowHeater Server wurde mit dieser Version um einige Leistungsstarke Funktionen erweitert. Es können nun Verzeichnisse nicht nur auf neue Dateien überwacht, sondern neu auch optional auf Änderungen von Dateien. Die Verarbeitung fängt an sobald die Datei nicht mehr von einem anderen Prozess geöffnet ist.

Der AutoID Heater bietet mit dieser Version die Möglichkeit einen Zähler zu etablieren der nur alle X verarbeitete Datensätze/Zeilen den generierten Zähler hochzählt. So können relativ leicht z.B. größere Exporte durchgeführt werden in denen die Ausgabe auf mehrere CSV Dateien aufgeteilt werden (alle x Datensätze eine neue Exportdatei). Selbstverständlich unterstützt diese Option auch die Angabe von FlowHeater Parametern. So kann die Anzahl der Zeilen in einer CSV Exportdatei dynamisch per Batch Übergabeparameter gesteuert werden.

z.B. FHBatch.exe /SetParameter MAX-REC=10000 export-csv.fhd

Damit dieses Vorgehen funktioniert muss natürlich der genierte Zähler über einen weiteren FlowHeater Parameter gespeichert werden sowie dieser Parameter dann als Platzhalter im Ausgabe Dateinamen vom TextFile Adapter mit verwendet werden.

z.B. Dateiname = C:\Temp\export$FILEID$.csv

So legt der Textfile Adapter pro neuen AutoID Zählerwert automatisch eine neue Exportdatei an. Ein kleines Beispielvideo wie es geht finden Sie in der Beschreibung zum AutoID Heater.

Mit dieser Version wurde eine weitere leistungsfähige Funktion (Heater) im FlowHeater implementiert. Über den neuen CMD Heater können dynamisch externe Programme oder aber auch Skripte (Perl, PHP, PowerShell, …) während eines Import/Export Laufes ausgeführt werden. Die eigentliche FlowHeater Verarbeitung wird dafür solange angehalten bis die Ausführung beendet wurde. Evtl. Programmausgaben können in FlowHeater Parameter umgeleitet werden um diese in der FlowHeater Definition zur Verfügung zu stellen. Schlägt die Ausführung des externen Programms/Skript fehl kann das über den Exit Code über eine Bedingung (IF-THEN-ELSE Heater) geprüft werden und die Verarbeitung mit Hilfe des Stop Heater abgebrochen werden.

Der Excel Adapter wurde mit dieser Version komplett überarbeitet und um zahlreiche Features erweitert. Es können nun auch Updates von Excel Zeilen/Datensätzen, ähnlich wie bei den Datenbank Adaptern, durchgeführt werden. Dabei kann entschieden werden ob Daten nur angefügt, nur aktualisiert oder aber beide Optionen kombiniert verwendet werden sollen. Der Excel Adapter prüft anhand der definierten Schlüsselfelder automatisch ob der Datensatz aktualisiert oder aber nur an das Arbeitsblatt angefügt werden soll. Optional kann der Datenbereich auf dem Arbeitsblatt vor dem Import gelöscht werden. So kann sichergestellt werden, dass bei einer kleineren Datenimportmenge keine alten Datenbestände auf dem Excel Arbeitsblatt bestehen bleiben.

XML Export gruppierenMit dieser Version wurde der XML Adapter um eine weitere leistungsfähige Funktion erweitert. Es ist nun möglich beim XML Export Daten über XML Knoten hinweg zu gruppieren. Mit diesem Feature können nun wesentlich komplexere XML Dateien während eines Exportlaufes generiert werden als bisher. Weiterhin wurde im XML Adapter Konfigurator das Anlegen und Verschieben von Knoten sowie Unterknoten verbessert.

Diese Funktionalität wurde eigentlich schon mit Version 4.0.6.1 als Zwischenversion veröffentlicht. Da es für Zwischenversionen lediglich eine kurze Auflistung der neuen Funktionalität gibt hier nun etwas mehr Informationen dazu.

Wird im TextFile Adapter auf der READ Seite eine UTF/Unicode Textdatei ausgewählt in der die Kodierung mittels BOM (byte order mark) festgeschrieben wird die dazugehörige Codepage automatisch erkannt und gesetzt. Die automatische Erkennung funktioniert nur bei Unicode/UTF Dateien mit BOM (byte order mark), ohne diese muss leider nach wie vor die zu verwendende Codepage manuell ausgewählt werden. Die verwendete Standard Codepage ist weiterhin die auf dem System eingestellte Windows ANSI Codepage.

FlowHeater Server ManagerDas Warten hat sich gelohnt, mit etwas Verzögerung konnte nun die erste FlowHeater Server Version fertiggestellt werden. Der FlowHeater Server kann Zeit- sowie Event getriggert  automatisiert Aufgaben auch ohne Benutzeranmeldung ausführen. Bei der Entwicklung wurde auf ein Maximum an Flexibilität geachtet, daher können nicht nur FlowHeater Definitionen ausgeführt werden. Es werden u.a. auch EXE Dateien sowie Skripte mit den Endungen CMD, BAT und PS1 (=Power Shell) unterstützt.

Zeilen werden in Textdateien im Normalfall mit dem unter Windows üblichen Zeichen/Bytes CR LF (0x0D0A) abgeschlossen bzw. unter Linux/Unix und Mac OS X nur mit LF (0x0A). Diese beiden Zeilenumbruch Varianten wurden bisher im TextFile Adapter unterstützt. In einigen Textdateien werden die Inhalte aber einfach vorgeschrieben, als Zeilen/Satz Trennzeichen wird hier ein frei definiertes Zeichen verwendet. Der TextFile Adapter unterstützt nun frei definierte Zeichen und interpretiert diese als Zeilenumbruch, so dass die Verarbeitung dieser Textdateien wie gewohnt durchgeführt werden kann. Es werden beliebige Zeichen sowie Kombinationen aus mehreren Zeichen als Zeilenumbruch unterstützt.

Mit dieser Version wurden die Heater (Funktionen) "Now" und "DaysDiff" um zwei weitere Leistungsfähige Datums/Zeit Funktionen erweitert sowie wurden einige weitere Verbesserungen implementiert.

Der FlowHeater wurde um eine weitere Leistungsfähige Funktion erweiterte, es können nun neben FlowHeater Parametern auch Umgebungsvariablen als Platzhalter für dynamische Konfigurationsparameter verwendet werden. Sollen Umgebungsvariablen verwendet werden muss dabei der Umgebungsvariablenname mit dem Prozentzeichen umschlossen werden.

Der AutoID Heater wurde um eine Leistungsfähige Funktion erweitert. Es können nun fortlaufende Zahlen (Auto IDs) anhand gleicher aufeinanderfolgender Eingangswerte gebildet werden. Die Zählung beginnt hier mit dem ersten unterschiedlichen übergebenen Eingangswert und wird solange fortgeführt bis sich der Eingangswert ändert. Im Unterschied zur Auswirkung auf „GroupBy (Heater)“ ist, bei dieser Funktion werden die Datensätze auf der WRITE Seite nicht zusammengefasst (gruppiert) sondern 1:1 durchgereicht.

Leerzeichen in Oracle Spaltennamen sind zwar selten aber wenn sie vorkamen war es mehr als ärgerlich, denn die Tabelle konnte mit dem Oracle Adapter bisher nicht gelesen bzw. geschrieben werden. Mit dieser Version können nun auch Feld/Spaltennamen mit Leerzeichen im Oracle Adapter verarbeitet werden. Die Option ist automatisch aktiv, es ist weiter keine Aktion erforderlich.

Der XML Adapter ist zwar noch in der BETA Phase, kann aber bereits einiges an XML Daten verarbeiten. Die XML Verarbeitung beschränkt sich derzeit auf „flache“ nicht allzu komplexe XML Strukturen mit wenigen Unterknoten. Wir haben einige XML Import/Export Beispiele zusammengestellt die das derzeit machbare widerspiegeln, weitere werden folgen. Allgemeine Beispiele zur XML Verarbeitung

Aggregatsfunktionen Min/MaxMit dieser Version wurden die Heater Min/Max, die jeweils den kleinsten bzw. größten Wert einer Datenreihe ermitteln, um zwei leistungsfähige Features erweitert.

Zum einem können jetzt neben der Ermittlung des kleinsten bzw. größten Wertes über eine gruppierte Datenmenge nun auch die kleinsten bzw. größten Werte über die komplette Verarbeitung ermittelt werden. Hiermit ist es nun möglich den kleinsten bzw. größten Wert in CSV Textdateien als Kopf- bzw. Fußzeileninformation zu verwenden. Zusätzlich können die Heater Min/Max jetzt auch dazu verwendet werden den kleinsten bzw. größten Wert von FlowHeater Date, Time sowie DateTime Datentypen zu ermitteln. Dabei erkennen die Heater automatisch um welchen Eingangsdatentyp es sich handelt und ändern dementsprechend die notwendige Verarbeitung.

Dynamisches Speichern von ParameternWie können Daten Import/Export Definitionen erstellt werden die bei jedem Lauf automatisch nur neu hinzugekommene Datensätze/Zeilen verarbeiten? Das wurde sehr häufig gefragt und es gab dazu auch einen relativ komplizierten Workaround. Mit dieser Version wurden die FlowHeater Parameter um eine Leistungsstarke Funktion erweitert, die es erlaubt, den letzten Wert des Parameters für die nächste Ausführung automatisch zu speichern die vor der nächsten Ausführung auch wieder automatisch eingelesen werden. So lassen sich sehr einfach Filter Bedingungen erstellen oder aber dynamische SQL WHERE Klauseln bilden, die nur neue Datensätze selektieren. Ein erstes Beispiel wie diese Leistungsfähige Funktion angewendet werden kann finden Sie hier: Nur neue Datensätze in eine CSV Textdatei exportieren

Mit dieser Version vom FlowHeater wurde die Datenbank NULL (DBNULL) Werte Erkennung bei Insert/Updates deutlich verbessert. Wurden bisher Tabellenfelder, bei denen keine NULL/DBNULL Werte zugelassen waren, nicht gefüllt konnte der Testlauf ohne Probleme durchgeführt werden. Der eigentliche Import/Update Vorgang brach aber anschließend mit einer Fehlermeldung ab sobald dem betroffenen Feld kein Standartwert Datenbankseitig zugewiesen wurde. Mit dieser Version prüft nun der FlowHeater bereits im Testlauf ob das Feld mit einem Datenbank NULL (DBNULL) Wert belegt werden kann und gibt ggf. eine dementsprechende Warnung aus.

Mit dieser Version wurde der FlowHeater um weitere leistungsfähige Features erweitert. Eines der wichtigsten ist die Möglichkeit CSV bzw. Excel Spalten anhand der Spaltenüberschrift dynamisch  dem richtigen Feld zuzuordnen. Bisher war nach der Erstellung der Definition die Reihenfolge für die Feld/Spalten Zuordnung ausschlaggebend. Wurde nun versucht eine Excel Arbeitsmappe bzw. CSV Textdatei einzulesen, in der die Spaltenreihenfolge eine andere war als ursprünglich definiert, wurden die Spalten aufgrund des geänderten Spaltenindex „falsch“ zugeordnet. Mit dieser Version können Sie nun auch CSV Textdateien bzw. Excel Dokumente mit dynamischer Spaltenreihenfolge ohne vorheriger Änderung der Import Definition verarbeiten.

Um dynamische Import/Export Definitionen erstellen zu können unterstützt der FlowHeater seit Version 2.2.0 Parameter. Hiermit ist es möglich eine Definition in einer Testumgebung mit anderen Verbindungsparametern zu entwickeln und diese Definition ohne Änderung anschließend über das Batch Modul in einer Produktionsumgebung ausführen zu lassen.

Die definierten Parameter werden hierbei über die Kommandozeilen Option „/SetParameter Name=Wert“ temporär überschrieben. Das Problem waren bisher Passwörter die im Klartext übergeben werden mussten. Mit dieser Version unterstützt der FlowHeater nun auch verschlüsselt übergebene Parameter.