Filter und Batch Verarbeitung.

Hallo, Ich habe eine Frage zu Filter und Batch Verarbeitung.

Angenommen gibt es 500 csv Dateien die in eine Datenbank geschrieben werden sollen. Unter diesen Dateien gibt es doppelte mit dem gleichen Inhalt, Datum und die Werte sind gleich. Diese gleichen Dateien sind aber an unterschiedlichen Tagen erstellt worden.
Ist es möglich beim Batch Verarbeitung zu überprüfen ob die Daten schon in der Datenbank vorhanden sind und diese Datei beim Verarbeiten auszulassen?

Unter diesem Video https://www.youtube.com/watch?v=4UAr0FypE_Y&feature=youtu.be  wird erklärt wie Filter innerhalb der Datei funktionieren um Doppelte Werte zu entfernen, wie ist es aber mit kompletter Datenquelle?

Hallo Boris,

die Prüfung, ob ein Datensatz bereits existiert oder nicht, können Sie dem Datenbank Adapter überlassen. Wenn Sie hier auf der WRITE Seite die Optionen „Daten anfügen (Insert)“ und „Vorhandene Datensätze ignorieren“ auswählen (siehe Screenshot), prüft der Datenbank Adapter das anhand der definierten Schlüsselfelder (Primary Key) automatisch.

Wenn jetzt die ausgelesenen Primary Key Felder nicht zu Ihrer Prüfung passen, können Sie das auf dem Reiter „Felder / Datentypen“ auch noch an Ihre Bedürfnisse anpassen. Hier einfach alle Felder auswählen bzw. abwählen, anhand der Datenbank Adapter die Prüfung vornehmen soll.

Wenn die Definition dann soweit angepasst wurde können Sie die 500 CSV Dateien über die Batch Modul Option /ReadFilename und der Angabe von Wildcards auf einen Rutsch verarbeiten.

z.B. FHBatch.exe /ReadFileName C:\Temp\*.csv import.fhd

Insert Optionen
 


Schlüsselfelder (Primary Key) auswählen
 
 

Ich muss es noch mal nachfragen da ich nicht vom Fach bin und noch einiges unklar ist. So wie ich das verstanden habe kann ich alle Felder auf der Write Seite auswählen und zu Primary Key machen. In meiner Datenbank ist aber nur ID als Primary Key definiert. 
Ich habe gerade so laufen lassen und in der Datenbank waren doppelte Einträge drin.
 

die Bilder sollten rein ) 

Hallo Boris,

das Problem in Ihrem Fall ist das Feld ID. Einmal ist das nicht mit der WRITE Seite verbunden und zum anderen ist das Feld vom Typ „Auto Inkrement“, zählt also automatisch hoch.

Ich kenne Ihre Daten jetzt nicht, aber vermutlich ist diese Information (ID) nicht in Ihren CSV Dateien enthalten? Wenn dem so ist, müssen Sie bei diesem Feld den Haken bei „Primary Key“ entfernen, „Auto Inkrement“ aber lassen. So prüft der FlowHeater anhand aller definierten Schlüsselfelder, ob ein Datensatz bereist eingefügt wurde.

Hinweis: Sie sollten nur die Felder als Schlüsselfeld deklarieren, worüber sie auch feststellen möchten ob ein gleicher Datensatz bereits eingefügt wurde. Wenn das alle, außer dem Feld ID sind, dann ist das so  Meistens sollten dafür aber ein paar wenige Felder ausreichen.
 

Danke, so geht es!