Verbindung zu großer SharePoint-Bibliothek stürzt ab

Hallo zusammen,

in einer Konfiguration des FlowHeater (32bit-Variante) verwenden wir auf der Read-Seite einen ODBC-Adapter (Sybase SQL) und auf der Write-Seite einen OLEDB-Adapter (Verbindung zu einer SharePoint 2013 Bibliothek).
Der Flowheater lädt Metadaten zu in der Bibliothek vorhandenen Dokumenten nach. Ab einer bestimmten Anzahl an verarbeiteten Dokumenten (ca. 388) stürzt der Flowheater mit der Fehlermeldung "Nicht genügend Systemressourcen" ab.
Das Verhalten tritt auch im Testlauf auf.

Im Taskmanager des Windows-Systems ist ersichtlich, dass der Flowheater 1.444MB Arbeitsspeicher belegt hat. Über das gesamte System sind 4,8GB von 8,0GB in Verwendung.
Auf der Festplatte sind noch ca. 40GB frei.
D.h. es stehen eigentlich noch Systemressourcen zur Verfügung.

Derzeit ist der Workaround, die SQL-Abfrage auf der Read-Seite regelmäßig einzugrenzen, so dass unter 388 Dokumente verarbeitet werden. Das ist aber unschön, da die Anpassung alle 14 Tage nötig ist.

Was könnten wir tun, um die Verarbeitung über eine größere Anzahl laufen zu lassen?

Viele Grüße
Jens

Hallo Herr Hetze,

das wir schwierig  Einmal ist das Problem der verwendete 32 Bit SharePoint OleDB Treiber? Hier ist der Hauptspeicher auf theoretische 2 GB (in Wirklichkeit ca. 1,5 GB) begrenzt. Welches 32 Bit Office setzen Sie denn ein bzw. welchen Connection String verwenden Sie?

Können Sie das ganze mal auf einem 64 Bit Office System mit 64 Bit FlowHeater ausprobieren? Hier kann der gesamte Hauptspeicher verwendet werden.

Dann wäre mal gut zu wissen was Sie vorhaben. Ggf. macht es Sinn z.B. nicht „select * from LIST“ zu verwenden, sondern die SharePoint Liste auf die notwendigen Felder zu begrenzen.

Dann gäbe es die Möglichkeit über FlowHeater Parameter einen dynamischen SELECT zu bauen der pro Aufruf immer nur die neuen Listenelemente verarbeitet. z.B. "select * from LIST where ID > $LASTID$" oder so ähnlich. Dazu bräuchte ich aber etwas mehr informationen zur genauen Aufbabenstellung.
 

Vielen Dank für die verschiedenen Ansätze. Das hat sehr geholfen.

Wir haben uns intern vorerst auf die Eingrenzung der Datensätze verständigt.
Als Plan B soll der 64-Bit-Treiber dienen.

Ein dynamisches SELECT ist leider nicht möglich, da die Datensätze nicht immer chronologisch bzw. fortlaufend verwendet werden.