Hallo Herr Herbert,

also wenn es sich nur um ein paar zehntausend Datensätze handelt würde ich pro Feld einen eigenen SQL Heater oder aber Lookup Heater verwenden. Oracle bzw. auch andere DBMS-Systeme können das gut skalieren, der Datensatz ist ja bereist eh schon selektiert bzw. im Cache und es muss nur eine andere Spalte bzw. Feld zurückgegeben werden. Natürlich muss hier immer pro Feld ein erneuter Connect zur Oracle Datenbank aufgebaut werden, was bei sehr vielen Daten sich dann schon aufsummiert.

Alternativ dazu könnte das über den  SQL Heater durchgeführt werden. Hier müssten Sie aber im SELECT die Felder selbst zu einem Feld zusammenführen, da der  SQL Heater nur eine Feld zurückgeben kann. Das ist dann gerade bei nicht Zeichenfolgen mit der Formatierung teilweise nicht ganz so einfach.

z.B. reine Textfelder über: select concat(feld1, ‘#’, feld2, ‘#’, feld3) from ihre_tabelle where pk = ‘$ID$’

Im Anschluss können Sie dann die Rückgabe mit dem String Split Heater und dem Trennzeichen ‚#‘ wieder auseinander splitten.
Sie werden die Daten über einen zusätzlichen Connect zur Oracle Datenbank geholt, sie sparen sich pro CSV-Zeile bei 3 Feldern 2 zusätzliche SQL-Abfragen.

Aus meiner Sicht ist der Kosten/Nutzen Faktor erst bei wirklich großen Datenmengen relevant, ansonsten würde ich immer einfach mehrere  SQL Heater oder aber  Lookup Heater verwenden.
 

Hallo Herr Bosche,

im Prinzip ist es ganz einfach  Sie müssen lediglich die JSON-Datei über separate Verarbeitungsschritte mehrmals lesen und die Daten einzeln abgreifen sowie am Ende wieder zusammenbringen.

Für Ihre JSON-Daten benötigen Sie lediglich 2 Verarbeitungsschritte.

1. Im ersten Verarbeitungsschritt lesen Sie das „dates“ Array indem Sie im JSON Adapter im JPATH „/dates“ angeben. Diese Werte fügen Sie an eine InMemory Adapter Tabelle an. Damit Sie einen Bezug herstellen können benötigen Sie hier noch einen AutoID Heater , der von 1 bis N hochzählt. 1 = der erste Messwert, 2 = der zweite, …
   
   
2. Im zweiten Verarbeitungsschritt lesen Sie das „data“ Array. Hier benötigen Sie wieder einen AutoID Heater sowie einen String Replace Heater , der Ihnen per Datenlookup das dazugehörige Datum vom „dates“ Array aus der InMemory Adapter Tabelle holt.

Im Anhang finden Sie ein kleines Beispiel dazu. Weitere Infos wie Sie JSON-Dateien Lesen und Schreiben können finden Sie hier:  Beispiele zur JSON zu/nach CSV Konvertierung

 

 
 

Hallo Herr Monschau.

der Lookup Heater ist eine vereinfachte Version vom SQL Heater . Im Lookup Heater geben Sie lediglich die Tabelle, das gewünschte Feld und ggf. eine Einschränkung an was Sie abfragen möchten, hier sind so gut wie keine SQL Kenntnisse erforderlich. Wenn Sie z.B. in MS Access die VBA Funktion DLookup kennen, die funktioniert so ähnlich.

Mit dem SQL Heater können Sie beliebige SQL Statements absetzen, erfordert aber einiges an SQL Kenntnisse.

Wenn Sie auf der READ Seite eine CSV Datei sowie auf der WRITE Seite eine Datenbank haben wohin Sie importieren möchten und Sie benötigen noch weitere Felder für den Import die in dieser Datenbank in anderen Tabellen stehen, dann müssen Sie im SQL bzw. Lookup Heater die WRITE Seite angeben, so wird die Abfrage auf dieser Seite bzw. Datenbank ausgeführt. Wenn Sie in dem Fall die READ Seite auswählen wird es einen Fehler geben, da der TextFile Adapter keine direkten Lookups bzw. den SQL Heater nicht unterstützt.

 

Hallo Herr Herrmannsfeldt,

Ja, wenn es um normale Tabellen geht wie oben in Tabelle A und B bebildert, geht das auch mit einem CSV Lookup über den String Replace Heater .

Sie benötigen für jede Berechtigung „VK, Lager, …“ einen eigenen String Replace Heater . Set Parameter Heater werden aus meiner Sicht hierzu nicht benötigt.

Hier finden Sie einige Beispiele zum CSV Lookup .

 

Hallo Herr Herbert,

das ist mal eine interessante Anforderung

Das würde über einen Vorgelagerten Verarbeitungsschritt gehen. Hier prüfen Sie mit Hilfe des String Replace Heater und einem CSV Lookup in einer Datei „_verarbeitet.txt“ ob der Name bereits verarbeitet wurde.

Wenn ja wird die Ausführung der Definition über den ersten Stop Heater beendet. Falls die Datei noch nicht bearbeitet wurde wird an die CSV Lookup Datei der Dateiname angefügt und der Verarbeitungsschritt wird nach einen Datensatz über den zweiten Stop Heater beendet. Die Verarbeitung geht dann mit dem nächsten Verarbeitungsschritt weiter. Im Anhang finden Sie ein kleines Beispiel dazu.

PS: Wenn Sie das Beispiel Testen bitte nach jeder Ausführung den Designer wieder schließen. Das Problem ist, das nach der zweiten Ausführung die erste erzeugte Datei angezeigt wird obwohl der zweite Verarbeitungsschritt in diesem Fall nicht ausgeführt wurde.


 

 
 

Hallo Ralf,

die Berechnungen könnten etwas kompliziert werden, das hängt davon wie die Datei aussehen bzw. wo die Daten herkommen. Aber im Prinzip bist du schon auf dem richtigen weg.

1. Einrichten einer FlowHeater Server Aufgabe die den Ordner überwacht und falls eine CSV Datei vorhanden ist die Aufgabe an startet.
   
   
2. Einlesen der CSV Datei Bestellungen mit den Bestellungen in eine InMemory Tabelle .
   
   
3. Dann die InMemory Tabelle so sortieren, dass du mit dem GroupBy Heater über die Artikel Berechnungen bzgl. der Menge durchführen kannst. Das Ergebnis wird in eine weitere InMemory Tabelle geschrieben.
   
   
4. Dann einlesen der Bestandsdatei in eine weitere InMemory Tabelle . Hierbei aktuallisiert du gleich die Werte mit dem CSV Lookup über den String Replace Heater .
   
   
5. Am Ende liest du die eben geschrieben Bestandsdaten InMemory Tabelle und erstellst die CSV Bestandsliste mit den aktuellen Werten.

 

Hallo Herr Müller,

wenn es nur darum geht anhand einer Spalte zu prüfen ob eine CSV Datensatz in einer anderen CSV Datei vorhanden ist funktioniert das über den bereits oben beschriebenen „ CSV Lookup “ mittels des String Replace Heater .

Weitere Infos dazu finden Sie hier

• Daten filtern
• Mehrere CSV Input Dateien auf der READ Seite

Im Anhang finden Sie ein kleines Beispiel dazu. Um jetzt noch Ihre 9 Dateien abzugleichen könnte jetzt diese Definition z.B. über das Batch Modul mit der Option /ReadFileName aufgerufen werden.

z.B. FHBatch.exe /ReadFileName Datei_*.csv abgleich.fhd

Hier gibt es natürlich wieder meherere Varianten. Um konkreter zu werden bräuchte ich etwas mehr Input von Ihnen.

 

Hallo Herr Müller,

für den Abgleich von CSV Dateien gibt es mehrere Optionen. Welche die Beste ist, kommt daher sehr darauf wie Ihre Daten aussehen bzw. was genau Sie miteinander abgleichen möchten. Wenn Sie etwas genauer beschreiben was Sie durchführen möchten kann ich Ihnen dazu gerne ein kleines Beispiel erstellen. Zusätzlich Beispieldateien wären auch nicht schlecht

Grundsätzlich geht das meistens mit einem CSV Lookup über den String Replace Heater . Hierzu gibt es hier im Forum schon einige Bespiele, evtl. hilft Ihnen das schon weiter. Formunsbeiträge zum CSV Lookup

Dann wurde spezielle für den Abgleich/Anreicherung von Daten (nicht nur CSV) der InMemory Adapter entwickelt. Hier gibt es ein etwas ausführlicheres Beispiel dazu: CSV und Excel Daten über SQLite Datenbank zusammenführen
 

Hallo Herr Bönnighausen,

genau dafür wurde der FlowHeater konzipiert. Ich habe Ihnen im Anhang mal ein kleines Beispiel erstellt. Hier wird davon ausgegangen, dass die Messwerte (IDs) in sortierter Reihenfolge vorliegen. Das Beispiel funktioniert so mit Ihren gelieferten Testdaten .

Das Beispiel verwendet zwei Verarbeitungsschritte. Der erste „Anzahl ermitteln“ ermittelt über den GroupBy Heater zusammen mit dem AutoID Heater lediglich für jeden Messwert die Anzahl und speichert diese in einer InMemory Tabelle „Anzahl“ zwischen. Die Anzahl wird dann im zweiten Verarbeitungsschritt „Verarbeitung“ benötigt um zu entscheiden ob eine Berechnung der „Messwert_ID_Group“ stattfinden soll oder nicht.
Zuerst muss natürlich erst einmal das Feld mit den Inhalten extrahiert werden. Hierzu wird der String Split Heater mit dem Trennzeichen „#“ verwendet.

Anmerkung: Wenn Ihre Eingangsdatei nur diese Werte enthält, könnten Sie im TextFile Adapter als CSV Trennzeichen auch „#“ angeben und Sie hätten die Felder gleich während des Einlesens getrennt!

Dann wird mit Hilfe des String Replace Heater ein Daten Lookup auf die im ersten Verarbeitungsschritt zwischengespeicherte InMemory Tabelle „Anzahl“ an Messwerten durchgeführt. Mit diesem Wert wird über die IF-THEN-ELSE Heater geprüft (Anzahl != 1) ob eine Berechnung bzw. eine Ausgabe für diesen Messwert/Zeile notwendig ist. Die notwendige Berechnung findet über zwei AutoID Heater statt. Hier wurde einmal eingestellt, dass über „gleiche Eingangsparameter“ sowie einmal über „Gruppenwechsel“ gezählt werden soll, siehe Screenshot.

Der String Format Heater wird dazu benötigt um die berechneten Werte sauber als Ganzzahlwert ohne Dezimalstellen zu Formatieren, das könnte auch über die allgemeinen Format Adapter Einstellungen geändert werden.

Es gibt mehrere Möglichkeiten, das umzusetzen. Probieren Sie es mal aus, gerne können wir noch Änderungen vornehmen.


Fertige Definition



AutoID Einstellung zu "Zählen" gleicher Eingangsparameter



AutoID EInstellung zu "Zählen" auf Gruppenwechsel

Hallo Herr Fajkus,

auf der WRITE Seite geht das leider nicht direkt.

Sie können aber über den SQL Heater (oder auch Lookup Heater ) einen Datenbank Lookup durchführen und dann mittels des Rückgabewertes und dem Filter Heater die nicht gewünschten Datensätze, vor der eigentlichen Verarbeitung, herausfiltern.

Ich habe Ihnen im Anhang ein kleines Beispiel angefügt. Hier wird zuerst über den Parameter Heater ein FlowHeater Parameter $ID$ mit dem aktuellen Feldinhalt der READ Seite ( CSV Datei ) gesetzt. Dieser Paramater wird dann im SQL Heater verwendet um die Abfrage mit WHERE Bedingung auf der WRITE Abzusetzen. Der Rückgabewert wird dann in einer IF-THEN-ELSE Bedingung geprüft und falls der Wert „1“ ist wird der Datensatz dann durch den Filter Heater aus der Verarbeitung ausgeschlossen.

Schauen Sie sich mal das Beispiel im Anhang an, ich denke damit sollten Sie zurechtkommen.

Hallo Herr Berto,

Optimierungen gehen immer

Hinweis: Die Verarbeitung läuft immer gleich ab. Es ist egal ob die Definition manuell über den Designer , per Skript über das Batch Modul oder aber komplett automatisiert über den FlowHeater Server ausgeführt wird!

Um eine genau Aussage bzgl. Optimierung treffen zu können, wäre natürlich eine tiefgreifende Analyse Ihrer Daten sowie Anforderung notwendig. Bitte haben Sie Verständnis dafür, dass das nicht Bestandteil des kostenlosen Supportes hier im Forum sein kann.

Aufgrund Ihrer beiden vorherigen Fragen hier

1. Fehlermeldung bei identischen Schlüssel 
2. FH Designer: Fehlermeldung Range-Objekt 

hätte ich eine Anmerkung)

Einmal wird das Problem sein, dass Sie in der InMemory Adapter Tabelle keinen eindeutigen Schlüssel definiert haben. Das bremst die Verarbeitung enorm aus! Hier würde ich mal beim Einlesen der Daten einen eindeutigen Schlüssel (über AutoID oder aber eine GUID ) definieren anhand der dann die Updates ausgeführt werden. Die AGS Nummer holen Sie sich dann per SQL Heater oder String Replace Heater aus der Referenztabelle. Beim Einlesen der Referenztabelle wäre es auch Hilfreich wenn hier doppelte Werte per Filter Heater gefiltert werden würden, die werden ja eh wieder überschrieben! So können Sie darüber auch einen eindeutigen Index erstellen und die Verarbeitung sollte deutliche beschleunigt werden. Ich würde sagen die Verarbeitungszeit wird so mindestens halbiert, wenn nicht noch mehr!

Vorgehen kurz zusammengefasst

1. Einlesen der  CSV Referenztabelle in eine InMemory Tabelle und filtern per Filter Heater auf doppelte Werte. Eindeutigen Schlüssel anlegen über PLZ+Strasse+Hausnummer
   
   
2. Einlesen der CSV  Kunden die abgeglichen werden sollen in eine weitere InMemory Tabelle und hier ein weiteres Feld mit einer  AutoID oder aber besser einer GUID anlegen. Weiter keine Verarbeitung in diesem Verarbeitungsschritt.
   
   
3. Dann lesen der Kundendaten über die InMemory Tabelle und updaten in die gleiche InMemory Tabelle. PK ist das neue Feld ( AutoID oder aber GUID ). In diesen Verarbeitungsschritt ermitteln Sie mittels des SQL Heater  oder String Replace Heater per Lookup die AGS Nummer (ggf. auch weitere Felder) aus der im ersten Verarbeitungsschritt eingelesene Referenztabelle.

Hallo Herr Küffer,

Sie müssen schon etwas genauer beschreiben was Sie durchführen möchten, was Sie erwarten oder aber was nicht funktioniert. So kann ich jetzt nur vermuten was Sie durchführen möchten!

Ich nehme an Sie möchten Werte aus der im ersten Verarbeitungsschritt eingelesene CSV Datei über die InMemory Adapter Tabelle ersetzen lassen?
Hierzu benötigt der String Replace Heater natürlich ein Schlüsselfeld anhand dessen dann der Daten Lookup ausgeführt werden kann.

Bei Ihrem Beispiel war hier die Spalte „Text_Deutsch“ mit dem String Replace Heater verbunden. Dieses Feld ist in der in diesem Verarbeitungsschritt gelesenen CSV Datei aber immer Leer, deswegen kann hier auch keine Werteersetzung durchgeführt werden Wenn Sie wie im beigefügten Screenshot hier die erste Spalte verwenden werden Werte ersetzt. Ob das jetzt richtig ist kann ich aufgrund der fehlenden Beschreibung nicht beurteilen.