News

Mit dieser Version ist die BETA Phase für den JSON Adapter abgeschlossen, der JSON Adapter kann nun auch in produktiven Umgebungen genutzt werden. Da die Verarbeitung von JSON Dateien nicht ganz trivial ist wurden fünf ausführliche Beispiele erstellt wo auf die Besonderheiten der JSON Verarbeitung mit dem FlowHeater eingegangen wird. Weiterhin wurde ein Tutorial Video erstellt das genau diese Beispiele aufgreift und demonstriert wie einfach die JSON Verarbeitung umgesetzt werden kann. In den Beispielen geht es immer um die JSON zu CSV Konvertierung, das wurde natürlich nur zur Veranschaulichung gemacht. Die Beispiele können sehr leicht auch an den JSON Import/Export in/aus SQL Datenbanken oder aber für REST Web Service Aufrufe mit dem REST API Adapter abgeändert werden.

Die JSON Beispiele finden Sie hier: Beispiele zur allgemeinen JSON zu CSV Konvertierung

Das Video können Sie hier finden: Video zur allgemeinen JSON Format Verarbeitung

Datums- und Zeitangaben konvertierenMit dieser Version können nun Datums- und Zeitangaben in unterschiedliche Zeitzonen sowie Formate umgewandelt werden. Der DateTime Convert Heater unterstützt sämtliche verfügbaren Zeitzonen. Standardmäßig wird von der lokal konfigurierten Zeitzone, oder aber von UTC (koordinierte Weltzeit) ausgegangen. Weiterhin können mit dem DateTime Convert Heater Datums- und Zeitangaben in eine Unix/Linux Zeit umgerechnet werden. Bei der Unix/Linux Zeit werden die Sekunden gezählt die seit dem 01.01.1970 vergangen sind. Mit dem DateTime Convert Heater kann problemlos zwischen diesen unterschiedlichen Datums- und Zeitangaben hin und her umgerechnet werden.

Der TextFile Adapter unterstützt mit dieser Version unterschiedliche Satzarten in einer Ausgabedatei auf der WRITE Seite.

Mit dieser Version können BINARY Datenbankfelder wie „VARBINARY, LONGBLOB, MEDIUMBLOB, TINYBLOB, IMAGE, BLOB, etc.“ direkt verarbeitet werden. Bisher wurden solche Felder immer über einen nachgelagerten Aufruf vom zugehörigen Datenbanktreiber geschrieben. Dies war allerdings in einigen Konstellation z.B. abweichender Primary Key, etc. nicht immer möglich sowie verlängerte sich dadurch die Verarbeitung erheblich. Durch die direkte Verarbeitung wird nun eine deutlich erhöhte Verarbeitungsgeschwindigkeit erreicht. Weiterhin können jetzt auch SQL INSERT / UPDATE / DELETE Skripte für diese BLOB bzw. BINARY Datenbankfelder generiert werden.

Mit dieser Version stehen zwei weitere neue leistungsfähige Adapter zur Verfügung.

Für REST API Web Service Aufrufe wird unter anderem oft das JSON Datenformat verwendet. Daher ergänzen sich die beiden Adapter im FlowHeater optimal. Natürlich kann der REST API Adapter  auch XML oder aber weitere andere Datenformate verarbeiten bzw. an den Web Service senden oder von hier zur Weiterverarbeitung empfangen.

Mit dieser Version wurden einige Optimierung, Verbesserungen sowie kleinere Korrekturen vorgenommen. Weiterhin wurde der Grundstein für einen demnächst verfügbaren REST API sowie JSON Adapter gelegt. Mit den Adaptern können JSON Dateien / Strukturen verarbeitet bzw. HTTP REST API Aufrufe durchgeführt werden. Beide Adapter sind aktuell noch im „ALPHA“ Stadium und aus diesem Grund nicht in der offiziellen Release Version freigeschaltet. Wer diese beiden Adapter nutzen möchte muss die aktuelle Entwickler BETA Version von hier verwenden.

Der Modulo Heater wird dazu verwendet um bei einer Division durch eine Zahl den Restwert zu ermitteln. Bei der Rückgabe kann unterschieden werden, ob diese mit oder ohne Nachkommastellen erfolgen soll.

Mit dieser Version wurden zwei neue Heater zur Zeichenketten (String) Verarbeitung veröffentlicht. Einmal der Heater IndexOf mit dem die Position eines Zeichens bzw. einer Zeichenfolge innerhalb einer Zeichenkette ermittelt werden kann. Und zum anderen der Heater Occur mit dem die Anzahl bzw. wie oft ein Zeichen / eine Zeichenfolge innerhalb einer Zeichenkette vorkommt, ermittelt werden kann.

Mit dieser Version unterstützt der MySQL Adapter nun auch die verschlüsselte Anmeldung an einer MySQL Datenbank über SSL/TLS Client Zertifikate. Dabei wird ein SSL/TLS Zertifkat mit privaten Schlüssel (private key) benötigt. Die notwenigen Parameter wie öffentlicher Schlüssel (public key), privater Schlüssel (private key) und Zertifizierungsstelle (CA=certificate authority) müssen als separate Dateien im PEM Format vorliegen. Ist das nicht gegeben, können diese Dateien auch aus einer evtl. vorhandenen PFX Zertifikatsdatei extrahiert werden. Dafür kann z.B. OpenSSL verwendet werden.

Hinweis: Die MySQL Datenbank muss natürlich so konfiguriert sein, dass eine SSL/TLS Anmeldung unterstützt wird.

Excel Adapter - Multi Sheet UnterstützungOft kommt es vor, dass aus Excel Arbeitsmappen, mehrere Arbeitsblätter verarbeitet werden müssen. Bisher mussten diese mehr oder weniger manuell über den Designer oder aber mittels des Batch Moduls über ein statisches CMD Skript angesprochen werden. Wurden weitere Excel Arbeitsblätter (Worksheets) der Arbeitsmappe hinzugefügt oder entfernt, musste das CMD Skript vorher manuell an die neuen Gegebenheiten angepasst werden.

Diese mühsame manuelle Verarbeitung wurde optimiert. Mit dieser Version kann im Excel Adapter, bei der Angabe des zu verarbeitenden Arbeitsblattes (Worksheet), der Stern als Wildcards verwendet werden. So können entweder mit der Angabe von nur „*“, alle in der Excel Arbeitsmappe vorhandenen Worksheets oder aber mit der Angabe von „Report_*“ nur bestimmte Worksheets, die dem angegebenen Wildcard Muster entsprechen, verarbeitet werden.

Gelesen werden die Daten der einzelnen Excel Arbeitsblätter als ob diese auf einem großen Worksheet vorhanden wären. Die einzelnen Arbeitsblätter müssen dabei natürlich jeweils das gleiche, definierte Format aufweisen. Über den System Heater kann während des Excel Exports auf den aktuellen Worksheet Namen zurückgegriffen werden. So können die einzelnen Excel Worksheets während des Importvorgangs unterschieden und zugeordnet werden.

Microsoft Azure SQL Datenbank UnterstützungMit dieser Version wurden am „MS SQL Server Adapter“ einige Optimierungen vorgenommen die nun auch eine optimale Unterstützung für Microsoft Azure „Cloud“ SQL Datenbanken bieten. Hierzu kann jetzt bei der Verbindungskonfiguration eine optionale SSL/TLS verschlüsselte Verbindung konfiguriert werden. Weiterhin kann angegeben werden ob das verwendete SSL/TLS Server Zertifikat auf Gültigkeit geprüft werden soll oder nicht. Diese Option ist bei lokalen MS SQL Servern, wo evtl. keine offiziellen Server Zertifikate verwendete werden können, hilfreich um trotzdem eine verschlüsselte Kommunikation mit einem MS SQL Server verwenden zu können.

Hinweis: Die Zertifikatsprüfung sollte nur bei bekannten lokalen MS SQL Servern deaktiviert werden! Bei Microsoft Azure „Cloud“ SQL Datenbanken sollte die Prüfung natürlich nicht ausgeschaltet werden.

XML Insert/Update - SchlüsselfelderMit dieser Version wurde der XML Adapter um eine weitere Leistungsfähige Funktion erweitert. Es ist nun möglich Inhalte an bestehenden XML Dokumenten anzufügen (INSERT) oder aber anhand von definierten Schlüsselfelder, ähnlich einem SQL UPDATE, zu aktualisieren. Der XML Adapter unterstützt natürlich auch UPDATES über einen aus mehreren XML Knoten/Felder zusammengesetzten eindeutigen Schlüssel. Mit dieser Funktion können nun über mehrere Verarbeitungsschritte hinweg sehr komplexe XML Dokumente generiert werden.

Mit dieser Version unterstützt der FlowHeater Server Manager das Kopieren von Aufgaben innerhalb der GUI. Zusätzlich können Aufgaben exportiert sowie auch wieder importiert werden. Damit keine Konflikte entstehen werden kopierte oder aber importierte Aufgaben zunächst als „deaktiviert“ gekennzeichnet. Über „Multi-Select“ ist es möglich mehr als eine Aufgabe zeitgleich zu importieren bzw. zu exportieren. TIPP: So können u.a. relativ leicht Backups von vorhandenen Server Aufgaben erstellt werden. 

Mit dieser Version unterstützt der FlowHeater das dynamische einbinden von FlowHeater Parametern über eine Parameterdatei. Die Parameterdatei, die im UTF-8 Format vorliegen muss, wird vor jeder Ausführung dynamisch eingelesen und die FlowHeater Parameter werden mit diesen Werten jeweils vorinitialisiert.
Es kann einmal im Designer über „Menü->Bearbeiten->Parameter“ eine statische Parameterdatei angegeben werden. Weiterhin unterstützt das Batch Modul mittels der Option „/ParameterFile Dateiname“ diese Vorgabe dynamisch zu überschrieben.
In der Parameterdatei können beliebig viele FlowHeater Parameter eingetragen werden. Pro Zeile kann ein Parameter gesetzt werden z.B. „Parametername=Wert“. Eine genaue Beschreibung des Aufbaues der Parameterdatei finden Sie in der Hilfe zum Batch Modul.

Verarbeitungsschritte bearbeitenMit dieser Version können nun auch Verarbeitungsschritte kopiert sowie deaktiviert werden. Das Kopieren von Verarbeitungsschritten funktioniert natürlich auch über die Zwischenablage, so dass hier auch aus bereits vorhandenen Definitionen Verarbeitungsschritte übernommen werden können. Weiterhin können nun Warnungen von einzelnen Verarbeitungsschritten komplett deaktiviert werden.

Mit dieser Version verwendet der Access Adapter einen automatischen ODBC Treiber Fallback falls kein passender OleDB Treiber gefunden wurde.

Debugging - TroubleshootingTroubleshooting bzw. die Fehlersuche wird mit dieser Erweiterung stark vereinfacht. Wie lange wurde schon gesucht, warum wird ein Feld nicht so formatiert wie gewünscht, oder ist der Rückgabewert nicht der erwartete, etc. Diese mühsame Arbeit kann nun mit der neuen Einzelschrittverarbeitung (Debugging von Definitionen) deutlich verkürzt werden.

Der FlowHeater Server wurde um eine weitere leistungsfähige Funktion erweitert. Es wird nun optional von jeder Aufgabe eine Ausführungshistorie protokolliert. Die Fehleranalyse, auch von weit zurückliegenden Ausführungen, wird dadurch stark vereinfacht. Protokolliert werden pro angelegte Aufgabe, sowie detailliert auch für die darin angelegten Schritte, Datum/Uhrzeit der Ausführung sowie Beendigung, Ausführungsdauer, Ergebnis der Ausführung (Erfolg, Warnung, Fehler), sowie Optional die generierte Konsolenausgabe. Wie lange diese Protokollierung aufbewahrt werden soll kann über die Server Konfiguration individuell konfiguriert werden.