Verarbeitung komplexer Doofdaten?

Moin Gemeinde,

eine Einstiegsfrage hätte ich dann doch noch:

Nachdem die eher einfache Aufgabenstellung sehr schön erledigt wurde, dachte ich mir, man könnte ja mal etwas Komplexes testen...

Ich habe da eine Textdatei als Quelle, die die Datenfelder an unterschiedlicher Stelle liefert. Identifiziert werden die Felder durch führende oder sogar nachfolgende Bezeichner. Natürlich ist das alles andere als clever, wird in einem Projekt aber so geliefert...

Zu den Details:

Die Zeile enthält z.B. ein gesuchtes Dateum. Dies wird durch einen vorangestellten Schlüssel und einen folgenden Schlüssel unterschieden. Da die Zeile mehrere Datumsfelder enthält, ist der nachfolgende Schlüssel relevant, da wir nur darüber erfahren, welches Feld das Richtige ist.

Beispiel:
irgendwas;artnummer-prefix;artikelnummer;artikelnummernbezeichner;nochwas;zeuch;datumsfeld-prefix;20230101;egaldatum;irgendwas;datumsfeld-prefix;20230102;wichtigesdatum;irgendwas

Nun soll nur das Datum in den Zieldatenspeicher übernommen werden, das vor dem Kennzeichen "wichtigesdatum" steht.

Und damit es richtig wild wird:
Die Verknüpfung zur Zieldatenbank erfolgt über das Feld Artikelnummer. Erwartungsgemäß enthält die Zeile mehrere Artikelnummern. Welche die richtige ist, wird durch einen Bezeichner hinter (!) der Artikelnummer festgelegt.

Die Felder sind immer an einer anderen Stelle ud werden nur über das Präfix identifiziert.

Wir erledigen den Import derzeit über eine eigene Lösung, die jedoch arg langsam ist. Wenn man das ähnlich performant wie die einfachen Jobs mit eurem "heater" erledigen könnte, wäre das natürlich sensationell.

Viele Grüße
Alex

 

Hallo Herr Prepoutsidis,

wer lässt sich den sowas einfallen

Das würde mit dem .NET Skript Heater und etwas Programmierbarkeit gehen. Im Anhang finden Sie mal ein kleines Beispiel dazu. Achtung: Da hier der Textfile Adapter jeweils die ganze Zeile einliest greifen so nicht mehr die mechanismen um CSV Dateien sauber in die Felder zu splitten. Ich denke das ist in dem Fall eh nicht notwendig!

Es gibt zwei C# Skripte die etwas unterschiedlich arbeiten. Das erste sucht nach einem Präfix und einem Suffix. Das zweite sucht nach einem Präfix und prüft dann ob das nachfolgende Feld mit einem Ausrufezeichen endet. Ich hoffe ich habe die Anforderung richtig verstanden?

In den Skripten kann jeweils oben der Präfix bzw. Suffix angepasst werden, siehe Screenshot.

 

 
 

Hallo Herr Stark,

danke für die schnelle Antwort und den den Lösungsansatz.

Ich nehme an, man müsste zwei solcher Skripte implementieren, da ja auch die Artikelnummer, die zum Updaten der Datenbank benötigt wird, auf einem ähnlichen Weg herausgelöst werden muss. Geht das mit mehreren solcher Skripte?

Zur ersten Frage: Ein namhafter Großhändler. Wir vermuten, dass diese leute vor einigen Wochen noch mit Karteikarten gearbeitet haben ..

Und abschließend: Können Sie uns einen Preis nennen, diese Skripte fertig zu schreiben? Leider ist die Datenformats-Dokumentation vertraulich, so das ich sie hier nicht posten kann.

Viele Grüße
Alex
 

Hallo nochmal,

die letzte Frage nehme ich zurück

Ich konnte schnell einen Übersetzer schreiben, der dieses Gaga-Datenformat in eine csv überträgt, die Ihr Heizgerät dann an den sql Server übertragen kann.

So waren die 6 mio. Updates innerhalb einiger Minuten erledigt.
Unsere damalige SQL/CSV-Software hatte dafür 3 Tage kalkuliert ..

Nochmals vielen Dank für Ihren grandiosen Support!

Viele Grüße 
Alex