- Beiträge: 11
Transport Channel is closed
- Stephan
- Autor
- Offline
- Benutzer
Weniger
Mehr
11 Jahre 1 Woche her #1515
von Stephan
Transport Channel is closed wurde erstellt von Stephan
Hallo,
bei der Migration von Daten aus einer MySQL in eine Postgres Datenbank kommt es beim Ausführen der Definition im Massdata Modus zu folgender Fehlermeldung in Flowheater: "Transport channel is closed". Gleichzeitig kommt es zu einem Überlauf des Arbeitsspeichers.
Wenn ich die Daten in Pakete von ca. 50.000 Datensätze über eine where Bedingung (Key < 50.000) auf der lesenden Seite packe, läuft es sauber durch. Dauer ca. 5 Minuten. Bei 100.000 Datensätzen dauert das Schreiben schon mehr als 30 Minuten. Bei ca. 200.000 Datensätzen erhalte ich obige Fehlermeldung.
Da es sich um eine DB mit mehreren Mio Datensätzen handelt, suche ich nach einem Weg die Migration auf einen Rutsch durchlaufen zu lassen.
Kann ich hier etwas optimieren, ist es ein Feature oder ein Bug?
Danke und Gruss
Stephan
bei der Migration von Daten aus einer MySQL in eine Postgres Datenbank kommt es beim Ausführen der Definition im Massdata Modus zu folgender Fehlermeldung in Flowheater: "Transport channel is closed". Gleichzeitig kommt es zu einem Überlauf des Arbeitsspeichers.
Wenn ich die Daten in Pakete von ca. 50.000 Datensätze über eine where Bedingung (Key < 50.000) auf der lesenden Seite packe, läuft es sauber durch. Dauer ca. 5 Minuten. Bei 100.000 Datensätzen dauert das Schreiben schon mehr als 30 Minuten. Bei ca. 200.000 Datensätzen erhalte ich obige Fehlermeldung.
Da es sich um eine DB mit mehreren Mio Datensätzen handelt, suche ich nach einem Weg die Migration auf einen Rutsch durchlaufen zu lassen.
Kann ich hier etwas optimieren, ist es ein Feature oder ein Bug?
Danke und Gruss
Stephan
Bitte Anmelden oder Registrieren um der Konversation beizutreten.
- FlowHeater-Team
- Offline
- Administrator
11 Jahre 1 Woche her - 11 Jahre 1 Woche her #1517
von FlowHeater-Team
gruß
Robert Stark
Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
FlowHeater-Team antwortete auf Transport Channel is closed
Hallo Stephan,
das ist ein undokumentiertes Feature Standardmäßig wird im FlowHeater jeder Import über eine abgeschlossene Datenbank Transaktion durchgeführt. Das hat den Vorteil, dass wenn ein Fehler während des Importes auftritt oder der Benutzer auf Abbrechen klickt alle Änderungen wieder Rückgängig gemacht werden. Normalerweise kommen Datenbanken auch mit Imports von mehreren 100.000 Datensätze klar. PostgreSQL scheint hier eine Ausnahme zu sein, das muss noch genauer geprüft werden.
Für Ihren Fall können Sie das Transaktionsveralten beeinflussen indem Sie auf der WRITE Seite in den Eigenschaftes des Adapters den Wert für "AutoCommitAfter" von 0 auf z.B. 10.000 setzen. Hiermit führt der FlowHeater nach jeweils 10.000 geschriebenen Datensätzen einen Commit durch. Die Option -1 empfehle ich Ihnen nicht, hiermit schalten Sie Datenbank Transaktionen komplett aus.
das ist ein undokumentiertes Feature Standardmäßig wird im FlowHeater jeder Import über eine abgeschlossene Datenbank Transaktion durchgeführt. Das hat den Vorteil, dass wenn ein Fehler während des Importes auftritt oder der Benutzer auf Abbrechen klickt alle Änderungen wieder Rückgängig gemacht werden. Normalerweise kommen Datenbanken auch mit Imports von mehreren 100.000 Datensätze klar. PostgreSQL scheint hier eine Ausnahme zu sein, das muss noch genauer geprüft werden.
Für Ihren Fall können Sie das Transaktionsveralten beeinflussen indem Sie auf der WRITE Seite in den Eigenschaftes des Adapters den Wert für "AutoCommitAfter" von 0 auf z.B. 10.000 setzen. Hiermit führt der FlowHeater nach jeweils 10.000 geschriebenen Datensätzen einen Commit durch. Die Option -1 empfehle ich Ihnen nicht, hiermit schalten Sie Datenbank Transaktionen komplett aus.
gruß
Robert Stark
Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
Anhänge:
Letzte Änderung: 11 Jahre 1 Woche her von FlowHeater-Team.
Bitte Anmelden oder Registrieren um der Konversation beizutreten.
- Stephan
- Autor
- Offline
- Benutzer
Weniger
Mehr
- Beiträge: 11
11 Jahre 6 Tage her #1521
von Stephan
Stephan antwortete auf Transport Channel is closed
Danke für die schnelle Antwort und Hilfe. Funktioniert super
Bitte Anmelden oder Registrieren um der Konversation beizutreten.
Ladezeit der Seite: 0.256 Sekunden