Powerpill e' morto ;(, qualcosa per velocizzare

Domande inerenti al gestore dei pacchetti di Arch Linux
Rispondi
Avatar utente
TheSaint
Robin Hood
Messaggi: 7951
Iscritto il: 8 settembre 2007, 7:43
Architettura: x86_64 (64bit)
Località: davanti al computer

Messaggio da TheSaint » 27 marzo 2011, 11:30

Ciao,

ricordo questo thread ed avevo trovato molto comodo una simile risoluzione con powerpill.
Ora Xyne a ritirato i suoi pacchetti che son in conflitto col nuovo pacman. :| :|
Io conterei in un programmino che scriva il file di input per aria2c, considerando anche l' uso di mirror in parallelo.
Ho anche visto il wiki che parla di pacget, che e' obsoleto e fallisce.
Il pacman sequenziale non da il meglio dello scaricamento, meglio parallelo e multiplo. L' opzione con aria2c come manager di pacman non e' ancora efficiente come scaricare pacchetti in parallelo.
.
Qualche innovazione?
F the saint 13 anni da questo forum ;)
Gli uomini consumano il pianeta, almeno due di queste cose si possono ridurre.

Avatar utente
veleno77
Moderatore
Messaggi: 6282
Iscritto il: 25 marzo 2008, 18:26
Architettura: x86 (32Bit)
Località: Torino
Contatta:

Messaggio da veleno77 » 27 marzo 2011, 12:23

c'è anche airpac
https://wiki.archlinux.org/index.php/Im ... erformance
comunque io tempo fa provai powerpill e aira2 configurato in pacman e non notavo sta differenza abnorme .. poi ho tolto tutto perchè non trovavo sti benefici di download multipli.. sarà che ho una 7 mega di profilo di connessione....
Se avete risolto il vostro problema, editate il primo post aggiungendo [Risolto] al titolo.
Problemi con Arch ? 1°Metodo-2°Metodo-3°Metodo
ArchWiki Translation Team - Cerchiamo traduttori!

Avatar utente
TheSaint
Robin Hood
Messaggi: 7951
Iscritto il: 8 settembre 2007, 7:43
Architettura: x86_64 (64bit)
Località: davanti al computer

Messaggio da TheSaint » 27 marzo 2011, 13:35

Airpac mi sembra che abbia degli errori e non ho capito con quale python si debba avviare. Facile che non sia aggiornato a python 3.
.
Siccome mi muovo di frequente e son connesso a router che condividono la connessione, mi trovo ad avere transferimenti di pochi Kbytes.
Se usassi aria2c ottimizzato per l' uso di diversi mirror e split di file grandi o come powerpill riesco a carpire tutta la banda disponibile :D :D
.
Tornando a pacget, e' sequenziale anche lui e l' errore e' riferito alla riga passata ad aria2c, che ha cambiato qualcosa rispetto a pacget.
provo a revisionare airpac, se riesco a capirci. Solo che mi e' molto nuovo il python 3.
F the saint 13 anni da questo forum ;)
Gli uomini consumano il pianeta, almeno due di queste cose si possono ridurre.

Avatar utente
Hilinus
Moderatore
Messaggi: 5649
Iscritto il: 25 ottobre 2008, 19:28
Architettura: x86_64 (64bit)

Messaggio da Hilinus » 27 marzo 2011, 13:40

Basta che installi python2 e lo lanci con quello, senza star lì a convertirlo.
Q6600 @ 3.2 Ghz + Thermalright Ultra 120 Extreme | 6 GB DDR2 Ocz Gold
Asus P5K | Sapphire HD7850 2GB | E ovviamente... Arch Linux :)

Avatar utente
TheSaint
Robin Hood
Messaggi: 7951
Iscritto il: 8 settembre 2007, 7:43
Architettura: x86_64 (64bit)
Località: davanti al computer

Messaggio da TheSaint » 27 marzo 2011, 17:24

Hilinus ha scritto:Basta che installi python2 e lo lanci con quello, senza star lì a convertirlo.
Ho tutte 2, ma entrambe danno errore.
F the saint 13 anni da questo forum ;)
Gli uomini consumano il pianeta, almeno due di queste cose si possono ridurre.

Avatar utente
trapanator
Little John
Messaggi: 908
Iscritto il: 22 gennaio 2009, 18:56
Località: Trentino

Messaggio da trapanator » 28 marzo 2011, 9:14

sul forum internazionale proponevano di usare COWER.
PC Fisso: Intel E6300 - 4GB RAM - Nvidia Geforce 9300M - HD 320GB

Luco
Little John
Messaggi: 957
Iscritto il: 19 giugno 2009, 11:23
Località: [MI]

Messaggio da Luco » 28 marzo 2011, 11:44

A quanto ho letto è stato proprio l'autore di Xyne a decidere di abbandonarlo (parlava di codice sporco, obsoleto).
Probabilmente ha qualcosa in cantiere, per me powerpill è stato una manna dal cielo!
--- Arch Linux user since april 2009

Avatar utente
4javier
Moderatore
Messaggi: 9541
Iscritto il: 5 ottobre 2008, 17:19
Architettura: x86_64 (64bit)

Messaggio da 4javier » 28 marzo 2011, 12:22

No, luco. È che a causa dei grossi cambiamenti nella nuova versione di pacman, i suoi progetti sono ora incompatibili, e richiedono molte modifiche per essere di nuovo funzionanti. Avendo a che fare comunque con una mole così imponente di lavoro, mi pare di capire che abbia intenzione (se ne troverà il tempo) di riscriverli di sana pianta.
Offertissima: Mi Vendo!!! Cercasi lavoro o corso di formazione finanziato in tutta italia da Roma in su, oppure in provincia di Catanzaro.
In particolare sono interessato ad opportunità su Roma.

Avatar utente
TheSaint
Robin Hood
Messaggi: 7951
Iscritto il: 8 settembre 2007, 7:43
Architettura: x86_64 (64bit)
Località: davanti al computer

Messaggio da TheSaint » 28 marzo 2011, 12:41

trapanator ha scritto:sul forum internazionale proponevano di usare COWER.
Lo stai usando?
Qualcuno mi dice come lavora?
Io trovo che il metodo sequenziale di scaricamento di pacman non e' efficacie come quello di parallelizzare e mettere tutto in cache.
Ci sono alcune descrizioni di aria2c che non capisco come si possa costruire un input file con la lista dei pacchetti da scaricare.
Credo che con un po' di python + pacman -Sup + rankmirrors -n10 /etc/pacman.d/mirrorlist si possa tirar fuori la lista dei primi 10 mirror per aria2c con eventuali altre opzioni di aria2c.
Sebbene airpac ha gia' qualcosa di valido, non riesco a farci il debug, perche' e' usato da pacman che gli passa i parametri :(. Comunque questo non e' parallelo.

.
Vabbe', faccio qualche esperimento......
F the saint 13 anni da questo forum ;)
Gli uomini consumano il pianeta, almeno due di queste cose si possono ridurre.

Avatar utente
dieghen89
Little John
Messaggi: 1310
Iscritto il: 28 novembre 2008, 17:53
Località: Provincia di Udine
Contatta:

Messaggio da dieghen89 » 28 marzo 2011, 14:01

Sono molto interessato all'argomento...di python me ne intendo poco ma posso buttare giù qualche riga in bash....Più o meno ho già un idea su come implementare la cosa, ma sicuramente verranno fuori problemi che ora magari sottovaluto...In sti giorni mi dedico un po' vediamo cosa posso tirare fuori...Se riesco nel mio intento aprirò una discussione a riguardo ;)
Ultima modifica di dieghen89 il 28 marzo 2011, 14:01, modificato 1 volta in totale.
XPS 13 Developer Edition i7-4650U/hd5000 + KDE
Eeepc 1015PEM Black + KDE Minimal + kernel-netbook + acpi-eeepc-1015pem --> GUIDA

Avatar utente
dieghen89
Little John
Messaggi: 1310
Iscritto il: 28 novembre 2008, 17:53
Località: Provincia di Udine
Contatta:

Messaggio da dieghen89 » 28 marzo 2011, 17:07

È stato più facile del previsto ;) L'implementazione ancora è piuttosto sporca ma il ragionamento di fondo c'è....
TheSaint ti intendi un po' di aria2? Io ho una lista di url in un file, che parametri gli passo per ottimizzare al meglio il parallelismo / numero di connessioni / differenti server?
XPS 13 Developer Edition i7-4650U/hd5000 + KDE
Eeepc 1015PEM Black + KDE Minimal + kernel-netbook + acpi-eeepc-1015pem --> GUIDA

Avatar utente
Hilinus
Moderatore
Messaggi: 5649
Iscritto il: 25 ottobre 2008, 19:28
Architettura: x86_64 (64bit)

Messaggio da Hilinus » 28 marzo 2011, 17:12

Cercando nel man ho trovato queste:

Codice: Seleziona tutto

       -j, --max-concurrent-downloads=N
           Set maximum number of parallel downloads for every static (HTTP/FTP) URI, torrent
           and metalink. See also -s and -C option. Default: 5

       -s, --split=N
           Download a file using N connections. If more than N URIs are given, first N URIs
           are used and remaining URIs are used for backup. If less than N URIs are given,
           those URIs are used more than once so that N connections total are made
           simultaneously. The number of connections to the same host is restricted by
           --max-connection-per-server option. Please see -j and --min-split-size option too.
           Please note that in Metalink download, this option has no effect and use -C option
           instead. Default: 5

       -C, --metalink-servers=NUM_SERVERS
           The number of servers to connect to simultaneously. Some Metalinks regulate the
           number of servers to connect. aria2 strictly respects them. This means that if
           Metalink defines the maxconnections attribute lower than NUM_SERVERS, then aria2
           uses the value of maxconnections attribute instead of NUM_SERVERS. See also -s and
           -j options. Default: 5

Q6600 @ 3.2 Ghz + Thermalright Ultra 120 Extreme | 6 GB DDR2 Ocz Gold
Asus P5K | Sapphire HD7850 2GB | E ovviamente... Arch Linux :)

Avatar utente
dieghen89
Little John
Messaggi: 1310
Iscritto il: 28 novembre 2008, 17:53
Località: Provincia di Udine
Contatta:

Messaggio da dieghen89 » 28 marzo 2011, 17:14

@Hilinus
:D ce l'ho sotto mano da un po' il man :P La mia domanda era per evitarmi 1000 prove per trovare la combinazione giusta di questi parametri...
XPS 13 Developer Edition i7-4650U/hd5000 + KDE
Eeepc 1015PEM Black + KDE Minimal + kernel-netbook + acpi-eeepc-1015pem --> GUIDA

Avatar utente
TheSaint
Robin Hood
Messaggi: 7951
Iscritto il: 8 settembre 2007, 7:43
Architettura: x86_64 (64bit)
Località: davanti al computer

Messaggio da TheSaint » 28 marzo 2011, 17:44

@dieghen89
Il tuo contributo e' generoso. In pratica se guardi nella sottosezione > Input File

Codice: Seleziona tutto


 The input file can contain a list of URIs for aria2 to download. You can specify multiple URIs for a single entity: separate URIs on a single line using the TAB character. 

 Each line is treated as if it is provided in command-line argument. Therefore they are affected by -Z and -P options. 

 Lines starting with "#" are treated as comments and skipped. 

 Additionally, the following options can be specified after each line of URIs. These optional lines must start with white space(s). 

 • 
all-proxy 
Questo significa che tutte le opzioni possono esser messe nell' input file togliendo "--" davanti piu' tutti gli URI (??) :| :| dove pescare il file.
Questo richiede un processo di composizione degli indirizzi dei pacchetti coi N mirror migliori e metterli nella lista, separati da un TAB (se non sbaglio) di seguito si puo' definire tutte le opzioni di aria2c come gli equivalenti da CLI eccetto "--" davanti.
Una volta preparata la lista dei files richiesti da pacman, che andranno salvati in /var/cache/pacman/pkg si puo' dire a pacman di procedere e trovando gia' tutto scaricato fara' solo l' aggiornamento senza scaricare ulteriormente.
Questo e' quello che powerpill faceva, che inoltre verificava se i pacchetti erano buoni scaricati senza successo.
.
Aggiungo che in fondo si fa esplicito uso di Python2.7 e si puo' interfacciarsi a aria2c al volo.
Di airpac si possono prendere le idee delle funzioni usate per generare gli URI e qualcos' altro in generale, poi convertirlo in un python valido (meglio il 3, e non ci pensiamo piu' :) )
Esiste il programma 2to3, ma non ho avuto ancora le possibilita' di debuggare l' airpac convertito.
Quindi i modi possono esser 2 tramite RPC o tramite composizione dell' input file.
Ultima modifica di TheSaint il 28 marzo 2011, 18:07, modificato 1 volta in totale.
F the saint 13 anni da questo forum ;)
Gli uomini consumano il pianeta, almeno due di queste cose si possono ridurre.

Avatar utente
dieghen89
Little John
Messaggi: 1310
Iscritto il: 28 novembre 2008, 17:53
Località: Provincia di Udine
Contatta:

Messaggio da dieghen89 » 28 marzo 2011, 18:19

TheSaint sfortunatamente non conosco così bene il python e tutto si può fare anche con il bash...Non dobbiamo andare a fare delle query online o similari come faceva yaourt prima della creazione di package-query quindi non c'è nessun tipo di rallentamento usando bash...

Ho aperto un topic nella sezione progetti, possiamo continuare lì a parlare...
XPS 13 Developer Edition i7-4650U/hd5000 + KDE
Eeepc 1015PEM Black + KDE Minimal + kernel-netbook + acpi-eeepc-1015pem --> GUIDA

Avatar utente
TheSaint
Robin Hood
Messaggi: 7951
Iscritto il: 8 settembre 2007, 7:43
Architettura: x86_64 (64bit)
Località: davanti al computer

Messaggio da TheSaint » 28 marzo 2011, 18:21

OK, qui si chiude ;)
F the saint 13 anni da questo forum ;)
Gli uomini consumano il pianeta, almeno due di queste cose si possono ridurre.

Rispondi