Ergebnis der Konvertierung erst am Ende schreiben

Hallo,

wir konvertieren Sachbuchungen aus Excel in einen SQL-Datenbank. Es sind 5 Verarbeitungsschritte notwendig. Der erste füllt eine InMemory-Tabelle und die nächsten vier füllen je eine Datenbanktabelle mit Rechnungskopf, Rechnungspositionen (1:n), Kostenstellem n:m) und Steuerbuchungen 1:n). Diese Tabellen werden von einem Dienst überwacht in in bestimmtem Zeitabständen dasnn in die Finanzbuchhaltung importiert. In der ersten Tabelle ist ein Flag, welches eine Rechnung als importiert kennzeichnet. 

Aktuell werden die Tabellen alle 5 Minuten abgefragt und dann importiert, Nun dauert aber die Konvertierung schon 16 Minuten. Den Intervall hoch setzen ist sicher eine Möglichkeit, Gäbe es aber eine andere Möglichkeit, wie z.B.:

- die 5 Verarbeitungsschritte in kleineren Paketen abzuarbeiten?
- das Schreiben der Tabellen erst am Ende durchführen zu lassen? 

VG Matthias 
   

Hallo Herr Rindt,

eigentlich muss es vom Prozess her egal sein, wie lange die Aufbereitung bzw. Konvertierung der Excel Daten dauert. Der Dienst, der die Tabellen alle 5 Minuten überwacht, darf eigentlich erst anfangen, wenn ein bestimmtes Trigger Flag gesetzt ist. Dieses Flag muss/sollte in der Konvertierungsdefinition am Ende gesetzt werden. Das könnten z.B. im letzten Import Step über den SQL Heater und Ausführung am Ende der Definition getan werden. z.B. UPDATE t_ImportDaten set ImportComplete = 1;

Denn, egal wie klein Sie Ihre Daten Häppchen machen, irgendwann wird das immer mal parallel abgearbeitet werden und das Ergebnis muss auch in dem Fall konsistent sein.
Ist das nicht gegeben kann eigentlich das Risiko von Inkonsistenzen nur minimiert werden, wenn Sie die Daten Häppchen sehr klein halten. Um ein genaues Szenario aufzuzeigen bräuchte ich mehr Hintergrundinformationen sowie geht das was hier im Rahmen des kostenlosen Supports geleistet werden kann zu weit

Aber Grundsätzlich wird es darauf hinauslaufen die Daten temporär in separate CSV Textdateien zu zerlegen, z.B. Mandantenbezogen, Rechnungsbezogen, etc.

Folgendes Vorgehen würde ich Vorschlagen)

1. Eine Definition bereitet die Excel Daten auf und zerlegt diese in kleine CSV Dateien. Die Dateien am Besten in einem separaten Verzeichnis generieren lassen, das am Anfang gelöscht wird. Unten finden Sie zwei Beispiel wie mit dem TextFile Adpater mehrere Dateien anhand eines Merkmales geschrieben werden können.
   
   
2. Dann über das Batch Modul diese Dateien mit der Option /ReadFileName Auftrag*.csv importieren lassen.

Beispiele wie mehrere Textdateien geschrieben werden können

• Ausgabedateien teilen nach X Zeilen
• CSV Export auf mehrere Dateien aufteilen (splitten)