xargs parallel verwenden

Ein guter Anfang ist die Verwendung von -P 4 -n 1, um 4 Prozesse parallel auszuführen (-P 4), aber jeder Instanz des auszuführenden Befehls nur ein Argument zu übergeben (-n 1)

Dies sind die xargs-Optionen für parallele Verwendung aus der xargs-Manpage:

 -P, --max-procs=MAX-PROCS    run at most MAX-PROCS processes at a time

 -n, --max-args=MAX-ARGS      use at most MAX-ARGS arguments per command line

Beispiel:

cat urls.txt | xargs -P 4 -n 1 wget

Dieser Befehl führt bis zu 4 wget-Prozesse parallel aus, bis jede der URLs in urls.txt heruntergeladen wurde. Diese Prozesse würden parallel ausgeführt

wget [URL #1]
wget [URL #2]
wget [URL #3]
wget [URL #4]

Wenn Sie -P 4 -n 2 verwenden würden, würden diese Prozesse parallel ausgeführt:

wget [URL #1] [URL #2]
wget [URL #3] [URL #4]
wget [URL #5] [URL #6]
wget [URL #7] [URL #8]

Ein höherer Wert für -n könnte die Effizienz leicht steigern, da weniger Prozesse initialisiert werden müssen, aber es könnte bei einigen Befehlen nicht funktionieren, wenn Sie mehrere Argumente übergeben.