Zum Hauptinhalt springen
Weil einfach - produktiver ist

Der Daten Spezialist

Konvertieren Sie die Daten mühelos zwischen verschiedenen Formaten ohne Programmierkenntnisse dank Visual Designer. Effizient und super einfach.
Flowheater Chart

Transport Channel is closed

Mehr
10 Jahre 11 Monate her #1515 von Stephan
Transport Channel is closed wurde erstellt von Stephan
Hallo,

bei der Migration von Daten aus einer MySQL in eine Postgres Datenbank kommt es beim Ausführen der Definition im Massdata Modus zu folgender Fehlermeldung in Flowheater: "Transport channel is closed". Gleichzeitig kommt es zu einem Überlauf des Arbeitsspeichers.

Wenn ich die Daten in Pakete von ca. 50.000 Datensätze über eine where Bedingung (Key < 50.000) auf der lesenden Seite packe, läuft es sauber durch. Dauer ca. 5 Minuten. Bei 100.000 Datensätzen dauert das Schreiben schon mehr als 30 Minuten. Bei ca. 200.000 Datensätzen erhalte ich obige Fehlermeldung.

Da es sich um eine DB mit mehreren Mio Datensätzen handelt, suche ich nach einem Weg die Migration auf einen Rutsch durchlaufen zu lassen.

Kann ich hier etwas optimieren, ist es ein Feature oder ein Bug?

Danke und Gruss

Stephan

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Mehr
10 Jahre 11 Monate her - 10 Jahre 11 Monate her #1517 von FlowHeater-Team
FlowHeater-Team antwortete auf Transport Channel is closed
Hallo Stephan,
das ist ein undokumentiertes Feature :) Standardmäßig wird im FlowHeater jeder Import über eine abgeschlossene Datenbank Transaktion durchgeführt. Das hat den Vorteil, dass wenn ein Fehler während des Importes auftritt oder der Benutzer auf Abbrechen klickt alle Änderungen wieder Rückgängig gemacht werden. Normalerweise kommen Datenbanken auch mit Imports von mehreren 100.000 Datensätze klar. PostgreSQL scheint hier eine Ausnahme zu sein, das muss noch genauer geprüft werden.

Für Ihren Fall können Sie das Transaktionsveralten beeinflussen indem Sie auf der WRITE Seite in den Eigenschaftes des Adapters den Wert für "AutoCommitAfter" von 0 auf z.B. 10.000 setzen. Hiermit führt der FlowHeater nach jeweils 10.000 geschriebenen Datensätzen einen Commit durch. Die Option -1 empfehle ich Ihnen nicht, hiermit schalten Sie Datenbank Transaktionen komplett aus.


gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
Letzte Änderung: 10 Jahre 11 Monate her von FlowHeater-Team.

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Mehr
10 Jahre 11 Monate her #1521 von Stephan
Stephan antwortete auf Transport Channel is closed
Danke für die schnelle Antwort und Hilfe. Funktioniert super

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Ladezeit der Seite: 0.260 Sekunden
FlowHeater Logo

FlowHeater - Der Daten Spezialist

Effiziente Datenintegration und Transformation mit FlowHeater - Ihre Lösung für nahtlosen Datentransfer.

Rechtliches

Support & Kontakt

Kontaktinformation

Telefon:
0951 / 99339792

E-Mail:
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein.


Copyright © 2009-2024 by FlowHeater GmbH. Alle Rechte vorbehalten.