Skip to main content
Weil einfach - produktiver ist

Der Daten Spezialist

Konvertieren Sie die Daten mühelos zwischen verschiedenen Formaten ohne Programmierkenntnisse dank Visual Designer. Effizient und super einfach.
Flowheater Download

Anzahl der bearbeiteten Zeilen per batch einschränken

Mehr
11 Jahre 3 Wochen her #1247 von Christoph
Hallo zusammen,
ich habe eine Datei mit ca. 300.000 Zeilen. Diese Datei muss für die Weiterverarbeitung aufbereitet werden. Flowheater kann das ohne Probleme. Mein Problem ist aber, dass im nächsten Schritt (mit einem anderen Programm) nur eine bestimmte Anzahl, z. B. x = 10.0000 Datensätze verarbeitet werden können.
Deshalb suche ich nach einer Lösung, bei der z. B. durch ein Batch script von der 300.000 Zeilen Datei nur die ersten x Zeile bearbeitet werden. Beim zweiten Aufruf der Batchdatei werden dann die nächsten x Zeilen bearbeitet... So lange, bis die 300.000 Datensätze durch sind.

Kann man das irgendwie realisieren?

Vielen Dank für Eure Hilfe.

MFG

Bitte Anmelden um der Konversation beizutreten.

Mehr
11 Jahre 3 Wochen her #1248 von FlowHeater-Team
Hallo Christoph,

über mehrere Aufrufe des Batch Moduls nacheinander ist das leider nicht möglich. Was aber Problemlos möglich ist während des Batch Exportes gleich mehrere CSV Dateien zu erzeugen bzw. die Datensätze in einzelnen CSV Dateien zu splitten.

Sie benötigen dazu einen Parameter $FILE$ sowie ein kleines Skript für den .NET Script Heater das den Parameter anhand der aktuelle verarbeiteten Zeile setzt, so dass ab x verarbeiteten Zeilen eine neue CSV Datei generiert wird.

Ich habe Ihnen dazu ein kleines Beispiel erstellt. Hier werden 10 CSV Textdateien generiert output_1.csv bis output_10.csv. Pro CSV Textdatei werden 1.000 Zeilen geschrieben.

Den Parameter $FILE$ müssen Sie dabei als Dateiname im Textfile Adapter verwenden. Ich denke wenn Sie sich das Beispiel ansehen sollten Sie zurechtkommen. Im Skript müssen Sie den Export Dateinamen anpassen sowie die Anzahl an Datensätzen die Sie maximal pro Datei exportieren möchten. Die Stellen sind mit Kommentaren versehen wo sie Änderungen eintragen können.

Hier das Skript)
Code:
int aktfile = 0; public object DoWork() { // Dateiname hier ggf. anpassen. {0} muss vorhanden bleiben! // es gehen auch absolute Pfadangaben string filename = "output_{0}.csv"; // Anzahl zeilen anpassen bei der eine neue Datei erzeugt werden soll int MaxRows = 1000; int aktrow = (int)InValues[0].GetInt() - 1; // ab hier nichts mehr ändern if ((aktrow + MaxRows) % MaxRows == 0) aktfile++; // generierten Dateinamen für den SET Parameter Heater zurückgeben return String.Format(filename, aktfile); }

Anhang mehrere_dateien_exportieren.zip wurde nicht gefunden.


gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
Anhänge:

Bitte Anmelden um der Konversation beizutreten.

Mehr
11 Jahre 2 Wochen her #1259 von Christoph
Vielen Dank Herr Stark.

Das ist wiedermal (wie so oft ;-) ) eine perfekte Lösung!

MFG

Bitte Anmelden um der Konversation beizutreten.

Ladezeit der Seite: 0.326 Sekunden

FlowHeater - Der Daten Spezialist

Effiziente Datenintegration und Transformation mit FlowHeater - Ihre Lösung für nahtlosen Datentransfer.

Rechtliches

Support & Kontakt

Kontaktinformation

Telefon:
0951 / 99339792

E-Mail:
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein.


Copyright © 2009-2024 by FlowHeater GmbH. Alle Rechte vorbehalten.