Excel Importgeschwindigkeit => SQL Server schwankt

Wir importieren täglich diverse Exceltabellen mit dem FlowHeater.

Darunter auch Daten im Format der Beispieldatei mit 500-32.000 Datensätzen.

Üblicherweise läuft der Import bis zu 10 Minuten. Hat die Datei (.XLS und auch .XLSX) aber z. B. mehr als 15.000 Sätze, dann verlangsamt sich die Verarbeitung erheblich und kann auch mal 2-3 Stunden dauern. Teile ich die Datei dann auf, dann werden die Daten wieder schnell verarbeitet.

Wir verwenden hier keine Transaktionen.

Was ist zu tun/zu beachten?


MfG

Frank Samieske

Hallo Herr Samieske,

ich denke nicht dass es am Excel liegt. Ich habe mal ihre Excel Beispiel Datei mit 20.000 Datensätzen angereichert und in eine CSV Datei exportiert, lief mit Excel 2013 ohne merkliche Performanceeinbußen in ca. 15 Minuten durch.

Ich denke eher, dass das daran liegt weil Sie keine Datenbanktransaktionen verwenden, Sie bremsen den SQL Server damit aus.

Verwenden Sie keine Transkationen weil die Tabelle dann für andere Anwendungen gesperrt ist?

Haben Sie es schon mal mit eingeschalteten Transaktionen versucht, es würde ausreichen hier nach z.B. 100 Datensätzen einen COMMIT durchzuführen. So ist die Tabelle für andere Anwendungen nicht für die kompletten 10 Minuten gesperrt und der SQL Server kann seine Caching Mechanismen ausnutzen um die Performance dauerhaft oben zu halten.

Falls das nichts bringt bräuchte ich mal Ihre verwendete Office sowie SQL Server Version zur weiteren Analyse.