TuxLoad - Perl Free Downloader for *nix

[BoneMasterNo1]

Achtung!! TuxLoad wird aktuell von binging weiterentwickelt:
http://board.gulli.com/thread/769810...--v025/26/#637


Ich habe diesen Downloader geschrieben, da mich die Lösung für Linuxuser über Wine und USD nicht zufriedenstellt (ich möchte gerne alles über die Konsole regeln können, da man nicht immer eine grafische Oberfläche zur Verfügung hat).
Zur Erkennung habe ich GOCR mit einer Captcha Datenbank benutzt.

Ich weis nicht ob das ganze unter Windows funktioniert, dieses script ist eigentlich für Linux und evtl. BSD Benutzer gedacht.
Das script wurde erfolgreich auf dem Mac gestestet, es gibt aber bis jetzt noch keine Garantie das es überall läuft!


Dies ist kein Supportthread für Linux,BSD,Mac etc.!!!
Wer probleme bei der installation der benötigten Programme hat soll sich an die entsprechenden Foren wenden oder einfach mal google benutzen.
Tip: Die logs zu lesen hilft meistens!

Was wird benötigt?
- Perl mit installiertem libwww modul (LWP), getestet mit version 5.8.8 (gentoo:libwww-perl)

für das Rapidshare.com plugin:
- jpeg bibliothek (debian/ubuntu: libjpeg-progs; gentoo:media-libs/jpeg)
- imagemagick (gentoo: media-gfx/imagemagick)

1.Methode
- GOCR, ich habe version 0.44 benutzt. (http://jocr.sourceforge.net/)
2. Methode ( datenbank unhabhängige methode !!!!)
- ocrad (ab v0.15 erfolgreich getestet)
- NetPBM (gentoo: media-libs/netpbm)
3.Methode
- AntiCaptcha for *nix (http://board.gulli.com/thread/847864...a-363-for-nix/)

Aktuelle Debian Pakete
http://board.gulli.com/thread/769810...---v016/9/#219

TuxLoad Original Changelog:

Spoiler: 

Version 0.25 - 16.06.07 - 18:00
- Check if download can be written to file

Version 0.24 - 31.05.07 - 23:00
- New Folder structure, tmp, etc, log added
- Configurationfile updated for new folders and loglevel
- loglevel added.
- Flexibel Destination for the TuxLoad Configurationfile, script first search at /home/user/.tuxload/config.pl, then /etc/tuxload/config.pl and last $path_tuxload/etc/config.pl
- Online updater can make new folders
- Failed Downloads would be save now in logs/failed.log

Version 0.23 - 29.05.07 - 21:42
- Online updater added
- new config option $update added for getting update_files
- fixed bug with listdownload
- added sub function for masking strings
- Script is now under GPL

Version 0.22 - 29.05.07 - 8:30
- list handling updated, see config
- added list for failed downloads
- returncode of default_download fixed

Version 0.21 - 27.05.07 - 10:02
- filter updated - www*********** added

version 0.20 - 26.05.07 - 20:00
- ignorecase added on check_plugin

version 0.19 - 26.05.07 - 13:00
- filter updated - carriage return added - fixed a bug in some downloadlists

Version 0.18 - 26.05.07 - 10:30
- fixed some issues with filename by default download
- new option for reconnect

Version 0.17 - 25.05.07 - 14:30
- added default download, try to download all files via http where is no plugin defined
- no reconnect by default, reconnect must be set by config.pl or by argument
- path and filename to the logfile can be changed by config

Version 0.16 - 24.05.07 - 19:00
- TuxLoad redesigned to use plugins
- Configuration splitted, there are now one config file for the plugins and one for TuxLoad. The Plugins have there own configuration
- Banner Changed

Version 0.15 - 22.05.07 - 21:30
- configuration extended with $retry_max, sets the maximal retrys
- $wait_retry changed to $retry_wait in configuration

Version 0.14 - 22.05.07 - 16:20
- Logformat changed
- ".html" removed from filter

Version 0.13 - 21.05.07 - 19:22
- Argument -c added for binding onother configurationfile
- configuration extended with $config_list_handler, can now delete finished downloads from list
- usage description changed

Version 0.12 - 21.05.07 - 10:50
- fixed bug with less downloads

Version 0.11 - 20.05.07 - 20:35
- Progressbar updated - remainingtime added
- downloadtime added
- average download speed added
- logfile extended

Version 0.10 - 20.05.07 - 16:45
- fixed listdownload

Version 0.9 - 20.05.07 - 16:07
- Configuration paged out to config.pl
- Configurationcheck at startup
- Command-line arguments are more flexible
- Argument -d added for download destination
- Progressbar updated - average Download speed added

Version 0.8 - 19.05.07 - 22:23
- Banner changed

Version 0.7 - 19.05.07 - 18:53
- added filter vor bbcode [url]
- logfile captures now more information.

Version 0.6 - 19.05.07 - 16:46
- fixed bug with namespaces in url list

Version 0.5 - 19.05.07 - 15:46
- really fixed progress display
- added filter for anonym.to and urls including rs servernumber.
- Configuration now in tuxload.pl included

Version 0.4 - 18.05.07 - 20:52
- added reconnect support for filedownload
- fixed progress display
- fixed bug in retry mode

Version 0.3 - 18.05.07 - 19:30
- display now the actual progress

Version 0.2 - 18.05.07 - 18:59
- support for download lists added
- fixed bug in logfile

Version 0.1 - 18.05.07 - 16:49
- first release

Reconnect Methoden:
Router mit Busybox
Fritzbox
Fritzbox #2
Speedport
Allnet ALL130DSLv2
Speedtouch 546v6

[Yoshi]

Super Sache BoneMasterNo1!

Ich hatte gestern auch schon angefangen, aber war noch nicht ganz so weit wie du jetzt!
Würde dir gerne bei der Weiterentwicklung helfen, sei es selber mitschreibend oder nur beratend. Habe das Script gerade runtergeladen und nach kurzem Einlesen und Ausprobieren funktioniert es.

Ein paar Anmerkungen:
Ich brauchte noch djpeg, welches sich unter Ubuntu im Paket libjpeg-progs befindet.

Die Zeile:

if ( $html_content =~ m/(<p><p><form action=\")($URI[0]rs)(\d\d)(\.rapidshare\.com$URI[1])(\" method=\"post\">)/)

sollte durch

if ( $html_content =~ m/(<p><p><form action=\")($URI[0]rs)(\d{1,3})(\.rapidshare\.com$URI[1])(\" method=\"post\">)/)

ersetzt werden, da sie Servernummern auch 3-stellig sein können...
ich bin einfach mal davon ausgegangen, dass sie 1 bis 3-stellig sein können.


MfG,
Yoshi

[BoneMasterNo1]

Danke für den hinweis, habs aber durch \d+ gelöst.
Desweiteren geht jetzt auch der download über eine liste, mit optionalem reconnect.
Das Programm/script zum reconnecten muss in der config angegeben werden.

bräuchte übrigens immer noch nen html code für die wartezeit. RS hat mich wohl zur zeit sehr gern^^.

[hallihallo2]

Danke für den hinweis, habs aber durch /d+ gelöst.
Desweiteren geht jetzt auch der download über eine liste, mit optionalem reconnect.
Das Programm/script zum reconnecten muss in der config angegeben werden.

bräuchte übrigens immer noch nen html code für die wartezeit. RS hat mich wohl zur zeit sehr gern^^.

nicht nur dich. die wartezeit hat RS zurzeit komplett entfernt. egal wie groß die dateien sind!
Mal ne Frage: Hab ich das richtig verstanden? Läuft das nur auf Kommandozeile, oder gibts auch ne gui?
Auf jeden Fall ne super alternative zu usd+wine wenns funktioniert. Ich werds mal testen!

[BoneMasterNo1]

Es läuft zur zeit nur auf der konsole, eine gui ist im moment nicht geplant.

ps.: 600er post^^

[Yoshi]

Listendownload mit Reconnect geht 1a!

Kleine Schönheitskorrektur fürs Log wäre nach dem Download das Datum in der Leerzeile zu entfernen

Fri May 18 15:46:34 2007: Download finished
Fri May 18 15:46:34 2007:

Bei der Anzeige wieviel man schon runtergeladen hat, könntest du da aus der
Chunkgröße den aktuellen Downloadspeed berechnen?
Und wie genau funktioniert das mit den Chunks beim Download (was für eine Größe ist das zum Beispiel)?


MfG,
Yoshi

[BoneMasterNo1]

Das mit dem log ist ist mir auch schon aufgefallen, das wird gleich geändert.

Zu den Chunks kann ich dir leider auch noch nicht viel sagen, bin da selber noch ein wenig am rumexperementieren.

[lord_blight]

wenn ich mal wieder ne linix distri iwo drauf habe [ war in letzter zeit zu faul dazu ] werd ichs auf jeden fall testen !! Danke man

[BoneMasterNo1]

ich hab jetzt zwar noch keine speedanzeige einbauen könne, aber dafür wird der aktuelle fortschritt in prozent und bytes angezeigt.

Zu den Chunks kann ich nur sagen das die datei immer blockweise geschrieben wird. diesen block nennt man eben chunk.

[tantum]

Vielen Dank für die Arbeit, klappt wunderbar
Könntest du vllt noch per Default den reconnect nach jedem DL einbauen, auch wenns nur eine Datei ist (-f) ? Habs zwar bei mir schon geändert, aber ich denke das würde einigen helfen, zumal die Fehlermeldung ('Error, Maybe too much downloads?') ein bisschen missverständlich ist.
Oder man macht eine Abfrage, ob ein reconnect stattfinden soll, wenn nur eine Datei gedownloadet wird.
Soweit die (hoffentlich konstruktive) Kritik von mir...

[Bongmaster.]

Hat es schon jemand für den Mac getestet

Also wenn ich es übers terminal starte kommt

Spoiler: 

Bongmaster$ /Users/Bongmaster/Desktop/tuxload/tuxload.pl Can't locate LWP/Simple.pm in @INC (@INC contains: /sw/lib/perl5 /sw/lib/perl5/darwin /System/Library/Perl/5.8.6/darwin-thread-multi-2level /System/Library/Perl/5.8.6 /Library/Perl/5.8.6/darwin-thread-multi-2level /Library/Perl/5.8.6 /Library/Perl /Network/Library/Perl/5.8.6/darwin-thread-multi-2level /Network/Library/Perl/5.8.6 /Network/Library/Perl /System/Library/Perl/Extras/5.8.6/darwin-thread-multi-2level /System/Library/Perl/Extras/5.8.6 /Library/Perl/5.8.1/darwin-thread-multi-2level /Library/Perl/5.8.1 .) at /Users/Bongmaster/Desktop/tuxload/tuxload.pl line 2.
BEGIN failed--compilation aborted at /Users/Bongmaster/Desktop/tuxload/tuxload.pl line 2.

[BoneMasterNo1]

sieht ganz danach aus als ob dir das libwww modul fehlt.

http://search.cpan.org/CPAN/authors/...l-5.805.tar.gz

oder probier mal das
http://p5-libwww-perl.darwinports.com/

[Bongmaster.]

ok jetz kommt immer der fehler

Spoiler: 

Referenced from: /usr/bin/perl
Reason: image not found
Trace/BPT trap

[BoneMasterNo1]

hmm, versuch mal noch libgd und evtl. libmagic zu installieren. Ansonsten weis ich jetzt auch im moment nicht weiter.

[Bongmaster.]

Spoiler: 

Bongmaster$ /Users/Bongmaster/Desktop/tuxload/tuxload.pl
dyld: Library not loaded: /System/Library/Perl/5.8.6/darwin-thread-multi-2level/CORE/libperl.dylib
Referenced from: /usr/bin/perl
Reason: image not found
Trace/BPT trap

keiner eine ahnung was da los ist

[CiHO]

hmm ich hab das problem:

ciho@ciho-desktop:~/tuxload$ perl tuxload.pl -f http://rapidshare.com/files/25062566..._CD1.part1.rar
TuxLoad - RS Free Downloader by BoneMasterNo1
Version 0.4 - 18.05.07
File download.
### Download of Herr_der_Ringe_-_1_-_Die_Gefaehrten_-_CD1.part1.rar

ERROR pnm.c L290: read magic2

hab ubuntu drauf..

klasse das du sowas gecodet hast

[BoneMasterNo1]

hast du die jpeg bibliothek installiert? evtl brauchst du auch die NetPBM bibliothek und imagemagick. Wenn du die nachinstalliert hast empfiehlt es sich gocr neu zu kompilieren/installieren.

[CiHO]

hmm hab jetzt alles drauf, aber es geht immernoch nicht.. selber fehler

[Bongmaster.]

kann man nicht mal ein packet machen wo alle dateien drin sind die man brucht und die pfade im tuxload anpassen


oder ein schickes programm draus machen mit oberfläsche

Kann mir jemand das alles schicken am besten die dateien von seimem rechner

- Perl mit installiertem libwww modul, ich benutze version 5.8.8 (gentoo:libwww-perl)
- GOCR, ich habe version 0.44 benutzt. (http://jocr.sourceforge.net/)
- jpeg bibliothek (debian/ubuntu: libjpeg-progs; gentoo:media-libs/jpeg)
- evtl. NetPBM (gentoo: media-libs/netpbm)

Oder kann mir jemand peer icq aim msn helfen oder in nem irc chat das wäre super

[BoneMasterNo1]

hmm hab jetzt alles drauf, aber es geht immernoch nicht.. selber fehler

welche version von gocr benutzt du? versuch mal die sources von http://anonym.to/?http://jocr.sourceforge.net/ zu kompilieren und zu installieren.
Folgendes wirklich installiert?
- jpeg bibliothek (debian/ubuntu: libjpeg-progs; gentoo:media-libs/jpeg)
- evtl. NetPBM (gentoo: media-libs/netpbm)

Ein packet wird eher schwierig, ich kann höchstens eins für linux machen. Aber selbst da müssen dann alle programme kompiliert werden, da es unterschiedliche plattformen und distributionenn gibt.