uploadsys - Multiuploader/Downloader v0.33g

[saltlake]

Hier praesentiere ich mein naechstes Projekt: uploadsys

Es ist aus einigen Uploadscripten entstanden, die ich dann unter eine "Oberflaeche" zusammengefasst habe. Dazu kam dann noch ein kleines RapidShare.com Downloadscript.

uploadsys laeuft auf jedem Betriebssystem, welches bash und einige weitere Kommandozeilenprogramme installiert hat.

Version: 0.33g

Voraussetzungen:
- bash ab Version 3.0
- curl
- md5sum
- sed

Voraussetzungen fuer RSDF/DLC Export:
- openssl

Unterstuetzte Uploadservices:
- rapidshare.com (free, collector, premium - alle mit resume!)
- uploaded.to (free, standard, premium)
- netload.in (free, standard, premium)
- filefactory.com (free, standard, premium)
- mooshare.net (free, collector, premium)
- sharebase.to (free, collector, premium(?))

Unterstuetzte Downloadservices:
- rapidshare.com (free)

Unterstuetzte Checkservices:
- rapidshare.com
- mooshare.net

Unterstuetzte Exportformate:
- plain
- dlc
- rsdf

Changelog:

Spoiler: 

Version 0.33g:
- Rapidshare Upload Fix

Version 0.33f:
- dlc Export Fix

Version 0.33e:
- netload.in Rar-Passwort-Fix
- sharebase.to Uploadmodul

Version 0.33d:
- netload.in fix
- mooshare.net fix

Version 0.33c:
- netload.in fix

Version 0.33b:
- rapidshare Upload API fix

Version 0.33:
- md5 Regex Mac kompatibel gemacht
- mooshare.net Check und Uploadscript hinzugefügt
- diverse Kleinigkeiten

Version 0.32b:
- der Selftest der md5sum wurde nicht durchgefuehrt

Version 0.32:
- Proxysupport (HTTPProxy, Socks4/Socks5)
- defaults.conf Datei um ein Standardverhalten einzufuehren
- Link-Export in RSDF / DLC / Plaintext
- --selftest switch - hier kann man testen lassen, ob uploadsys auf dem Rechner laufen wird

Version 0.31
- Module komplett ueberarbeitet
- uploadsys gibt sich jetzt als Firefox 3.0 unter Windows aus (laesst sich in der general.conf einstellen)

Version 0.30
- Debug Version

Version 0.29:
- --move Switch hinzugefuegt

Version 0.28:
- -v, --variables sowie --modinfo Switch hinzugefuegt
(ermoeglicht z.B. layerads bei uploaded.to; siehe "nixshare.sh --modinfo uploaded.to")
- uploaded.to Plugin vollstaendig neu programmiert

Version 0.27:
- wichtiger Bugfix

Version 0.26:
- Bugfix (wenn Verbindung beim ersten Chunk unterbrochen wurde)
- --chunksize Switch eingefuehrt

Version 0.25:
- --limit/-l Switch eingefuehrt

Version 0.24:
- erweiterte Statusinformationen beim Upload

Version 0.23:
- Code Cleanup
- Downloadticket

Version 0.22:
- bugfixrelease

Version 0.21:
- --touch/-t Switch um Dateien "anzusaugen"

Version 0.20:
- Parameter mit langen Namen werden jetzt durch -- eingefuehrt.
- -m Parameter um die verfuegbaren Module aufzulisten.

Version 0.13:
- -d Switch um ganze Verzeichnisse hochzuladen. Die Ordnerstruktur geht dabei verloren.

Version 0.12a:
- Es wird selbststaendig erkannt, ob uploadsys unter Windows laeuft. Ist dies der Fall, wird die jeweils vorhandene Windows exe statt der Linux bin verwandt.

Version 0.12:
- rapidshare.com Uploadscript um Fehlerbehandlung erweitert. Jetzt wird auch Strg+C beim Hochladen und ein zufaelliger Verbindungsabbruch korrekt abgefangen.

Aufrufsyntax:

Version 0.33g

Usage: ./nixshare.sh [SWITCHES] [-] [FILES] [LINKS]

SWITCHES
    --selftest
        check whether all required programs are available
    -c, --check
        check whether links given with LINKS or --list are downloadable
    -t, --touch
        begin downloading, abort after a few bytes
    -s DOMAIN, --service DOMAIN
        add service with domain DOMAIN as service to upload files to
    --free
        use last given service as freeuser
    --premium
        use last given service as premiumuser
    --collect
        use last given service as collectoruser
    -u USER, --user USER
        set username USER for last given premium-/collectoraccount
    -p PASS, --pass PASS
        set password PASS for last given premium-/collectoraccount
    -l RATE, --limit RATE
        set upload/download rate to RATE kilobytes per second
    --chunksize SIZE
        set upload chunksize to SIZE kilobytes
    --list FILE
        read file FILE and download listed URLs and upload listed files
        format is one URL or filename per line
    -o DIR, --output DIR
        save downloaded files to directory DIR instead of './downloads'
    -d DIR, --uploaddir DIR
        upload all files in directory DIR
    --move DIR

        move uploaded files to directory DIR.
        DON'T USE THIS SWITCH WHEN UPLOADING TO MULTIPLE SERVICES
        SIMULTANEOUSLY!
    -x EXPORTMODULE, --export EXPORTMODULE

        save containerfile with module EXPORTMODULE after upload completed
        call "./nixshare.sh --listmodules" to see available modules
    --containerdir DIR
        save rsdf/dlc/txt containerfiles to directory DIR instead of './out'
    --packetname NAME
        write packetname NAME into containerfile if supported
    --packetpassword PASSWORD
        write password PASSWORD into containerfile if supported
    --packetcat TEXT
        write category TEXT into containerfile if supported
    --packetdescr TEXT
        write description TEXT into containerfile if supported
    --uploader NAME
        write uploadername NAME into containerfile if supported
    -n FILENAME, --containername FILENAME
        name saved container FILENAME (saved in subdirectory --containerdir)
    -m, --listmodules
        lists all available modules
    --modinfo SERVICE
        show module specific information
    --httpproxy HOSTNAME
        use HTTP proxy HOSTNAME
    --socks4host HOSTNAME
        use SOCKS v4 proxy HOSTNAME
    --socks5host HOSTNAME
        use SOCKS v5 proxy HOSTNAME
    --proxyport PORT
        use port PORT to connect to HOSTNAME specified with --httpproxy,
        --socks4host or --socks5host
    -v, --variable NUMBER=VALUE
        sets options for modules. See "./nixshare.sh --modinfo SERVICE" for
        details
    -h, --help
        this helptext

FILES
    List of filenames, each file gets uploaded to every service set with
    -s or --service

LINKS
    List of URLs, each link gets downloaded to directory set with -o or
    --output

Es koennen mehrere Services angegeben werden, auf die Dateien hochgeladen werden sollen. Somit kann man eine Datei gleich auf alle Services mirroren.

Beispielaufruf:

nixshare.sh -s rapidshare.com --collect -u 'nutzer' -p 'passwort' -s uploaded.to -s netload.in -u 'nutzer' -p 'passwort2' ./meinedatei ~/meineanderedatei http://rapidshare.com/files/54447710/anticaptcha

Dieser Aufruf wuerde meinedatei und meineanderedatei auf rapidshare.com, uploaded.to und netload.in hochladen. Zusaetzlich wird anticaptcha von rapidshare.com heruntergeladen. Bei netload.in und rapidshare.com wird auf premium/collectorsaccount hochgeladen, bei uploaded.to wird als freeuser hochgeladen.
Die Zugangsdaten muessen fuer jeden Service angegeben werden, also nach dem -s service.name muss -u nutzer -p passwort kommen. Somit kann man fuer jeden service andere Nutzerdaten angeben.

Im dl_rapidshare.com.sh Modul kann die Zeile 39 angepasst werden, um die Erkennungsroutine zu veraendern.
Alle anderen Konfigurationsschritte werden in der Datei config/general.conf vorgenommen.

Wichtig! Es muss in der nixshare.sh die Variable MAINDIR korrekt gesetzt werden. Wenn das Archiv nicht gerade in den Ordner ~/uploadsys entpackt wurde, dann muss der Pfad angepasst werden!

Das Script laeuft auch unter Windows mit cygwin.

Installationsanleitung fuer Windows (urspruenglich von rYm, danke hierfuer!)
1) Cygwin herunterladen
2) Cygwin installieren
2.1) Install from Internet wählen
2.2) Installationspfade anpassen
2.3) Eine Downloadseite auswählen (eigentlich egal welche)
2.4) Benötigte Packages auswählen
- curl
- openssl

3) uploadsys downloaden
4) Entpacken mit: tar -xzf uploadsys.tar.gz
5) Mit einem Editor den Pfad von MAINDIR in der nixshare.sh anpassen (ich bevorzuge Notepad++)
Dabei unbedingt beachten: es handelt sich um den cygwin Pfad und nicht um den Windows Pfad. Wenn cygwin also unter C:\cygwin installiert ist und uploadsys ins Verzeichnis C:\cygwin\home\USER\uploadsys entpackt wurde, dann muss der Pfad /home/USER/uploadsys lauten. In diesem Spezialfall muss nichts mehr geaendert werden, da ~ fuer /home/USER steht und das die Voreinstellung ist.

uploadsys v0.33g - Download (rapidshare.com)

ToDo:
- weitere Check-/Download-/Upload-Module implementieren
- speichern von Up-/Downloadlisten
- Gesamtfortschritt anzeigen

greetz saltlake

[erdmaennchen]

Absolut genial! Damit nimmst du dem JDownloader den Wind aus den Segeln

Mfg

[Lenny]

Klasse Sache - besonders die Resuming Funktion

Eine Frage hätte ich noch zur Pfadangabe der Files. Muss man den absoluten Pfad eintragen oder wie soll ich das verstehen?

./nixshare.sh -s rapidshare.com -collect -u User -p Passwort /home/simon/rs-ups/Texas.Chainsaw.Massacre.Part.3.Uncut.German.DVD5.part43
File '/home/simon/rs-ups/Texas.Chainsaw.Massacre.Part.3.Uncut.German.DVD5.part43' not found.

[saltlake]

Der Pfad kann relativ zum Aufrufverzeichnis oder absolut angegeben werden.

Ich wuerde aber mal raten, dass bei deinem Dateinamen das .rar am Ende fehlt

greetz

Edit: ich habe nochmal die Debugausgaben aus dem rs.com Uploadscript entfernt und dann neu hochgeladen. Download im 1. Post.

[Lenny]

Oh man wie dämlich, dass ich das .rar vergessen habe - kann ja mal vorkommen

Jetzt funktioniert alles ohne Probleme

[weierles]

Wie hast du den Resume hingekriegt? Und kann ich beliebig unterbrechen und mit neuer IP weiter Uploaden?

[saltlake]

Ja, man kann beliebig unterbrechen und mit neuer IP weiter hochladen. Es werden immer 1MB Abschnitte hochgeladen (kann man auch in der Datei veraendern -> Variable $bs), der Abschnitt bei welchem abgebrochen wurde muss neu hochgeladen werden. In der Collectors Zone/Premium Zone wird neben dem Dateinamen dann in rot (incomplete) angezeigt, bis die Datei vollstaendig oben ist.

Es gibt eine Rapidshare API. Dazu gibt es ein Perl Script von Rapishare, welches den Resume Vorgang exemplarisch implementiert.

http://images.rapidshare.com/software/rsapiresume.pl

Achso, wenn man 24 Stunden nach Unterbrechung nicht weiter hochlaedt, dann loescht RapidShare den bereits hochgeladenen Teil wieder.

Noch ein Vorteil des Scriptes: es ueberprueft, ob die Datei auch korrekt hochgeladen wurde, indem die MD5 Hashs der Datei auf dem Server und der lokalen Datei verglichen werden.

Des weiteren: ich habe kurz ein check Script fuer rs.com geschrieben. Es erkennt, ob eine Datei downloadbar ist oder geloescht wurde (weil illegal/vom uploader).

greetz saltlake

Doppelpost wegen wichtigem Update:
das rapidshare.com Uploadmodul behandelt jetzt waehrend des Uploads folgende Ereignisse korrekt:
Strg+C druecken um den aktuellen Dateiupload abzubrechen
Netzwerkverbindung wurde unterbrochen (24h Disc? ) und es wird an der aktuellen Stelle automatisch ein resume durchgefuehrt.

greetz

[Lenny]

Muss nochmal ein großes Lob aussprechen - läuft schon den ganzen Tag und es gab bis jetzt keine Probleme. Besonders die Resuming Funktion macht einem echt das Leben leichter

Noch als kleine Anregung für weitere Verbesserungen: Eine Option zum Hochladen von ganzen Ordnern, bzw. deren Inhalte, wäre echt super - ist nämlich extrem nervig wenn man eine DVD5 mit 43 Parts hochladen will und jede einzelnen Part einzeln eintragen muss oder habe ich da was übersehen?

[ibib90]

wäre nett wenn jemand noch ne grafische ausführung dazu basteln würde
mich scheut es immer vor konsolen

[Pfeffermann]

schade der link ist DOWN!

[ibib90]

@saltlake
wenn dich der link stört sach euinfach bescheid dann lösch ich den
http://xlice.net/file/1000664/uploadsys.tar.gz

[Black-Cat]

Moin,

sorry, aber irgendwie komme ich damit nicht klar.

Hab mir das Bash 3.2 und bekomme das schon nicht installiert.
Geschweige dieses uploadsys.

Läuft das denn auch auf WinXP und wenn ja, wie bekomme ich das dann installiert ?

Würde mich sehr über Hilfe freuen

Gruss

=Black-Cat=

[rYm]

Anleitung für XP:

1) Cygwin Herunterladen
2) Cygwin Installieren
2.1) Install from Internet wählen
2.2) Installationspfade anpassen
2.3) Eine Downloadseite auswählen (eigentlich egal welche)
2.4) Benötigte Packages Auswählen
- bash ab Version 3.0
- curl
- md5sum
- sed
Bis auf curl müsste schon alles ausgewählt sein
Am besten noch Nano oder einen anderen Editor mitinstallieren
(Wenn man später die nixshare.sh editiert kann das mit dem Windowseditor zu problemen führen)

3) Uploadsys downloaden
4) Entpacken mit: tar xvf uploadsys.tar.gz
5) Mit einem Editor den Pfad von MAINDIR in der nixshare.sh anpassen
6) Zum downloaden noch wie von Saltlake beschrieben in der dl_rapidshare.com.sh Zeile 37 hinter anticaptcha(.exe) anfügen

mfg

[saltlake]

Noch als kleine Anregung für weitere Verbesserungen: Eine Option zum Hochladen von ganzen Ordnern, bzw. deren Inhalte, wäre echt super - ist nämlich extrem nervig wenn man eine DVD5 mit 43 Parts hochladen will und jede einzelnen Part einzeln eintragen muss oder habe ich da was übersehen?

Wenn du nur eine DVD hochladen moechtest, wieso verwendest du dann nicht einfach ein wildcard?

Beispielaufruf:

nixshare.sh -s rapidshare.com -u Nutzer -p geheim /home/Nutzer/DVD/Mein.Toller.Film.part*.rar

Damit werden dann alle parts hochgeladen.

greetz

Edit: in Version 0.12a muss man fuer cygwin die dl_rapidshare.com.sh nicht mehr veraendern.
Hab kurz nen Switch hinzugefuegt, mit dem man Verzeichnisse hochladen kann. Zu finden in Version 0.13.

[unregestriert]

Moin.
Erhalte leider ne Fehlermeldung:

web12@hfg:~/files/uploadsys$ ./nixshare.sh -s rapidshare.com --premium -u user -p geheim ./ph.rar
./nixshare.sh: line 93: trap: RETURN: invalid signal specification
./nixshare.sh: line 93: trap: RETURN: invalid signal specification
Uploading next file: ph.rar
./nixshare.sh: line 72: 26748752 - ERROR: File not incomplete or file not found or killcode invalid!: syntax error in expression (error token is ": File not incomplete or file not found or killcode invalid!")

[saltlake]

Das liegt daran, dass du Bash in einer Version kleiner als 3.0 verwendest.

Also: entweder Bash upgraden, oder einfach in Zeile 93 das Wort RETURN loeschen, dann musst du aber mit einigen temporaeren Dateien im Ordner tmp leben. (Ob es noch andere "Nebenwirkungen" hat, habe ich nicht getestet.,Es kann also sein, dass das Script dann nicht mehr funktioniert.)

greetz

[irmizban]

der Oxedion Uploader funktioniert nicht !!!!

sh nixshare.sh -s oxedion.com DATEI.rar
Uploading next file: DATEI.rar

naja da kommt er nicht mehr weiter !!!!


und nochwas, es wäre auch echt heftig wenn du dazu noch die uploaded.to funktion mit den Layern Unterstützen könntest also, dass man z.B. "-s uploaded.to -la 45465 eingeben könnte und die layer-Id wäre mit drin


Dazu noch ... Ihr wärt meine helden wenn Ihr/ du irgendwie noch den Hoster easy-share.com mit rein nehmen könntet /könntest

viele Grüße
IrMizban

[Phantomas_x]

oxedion wäre auch platt....

als ersatz hätte ich filefactory.com als Vorschlag

achja....hab zwar jetzt auch bash 3.1.17 geupgraded, jedoch funzte es bisher auch mit der 2.x ... halt mit Fehlermeldungen dazwischen

[bonanza123]

ich glaub ich bin zu blöd dafür...

also ich lad hier eine datei XXX.rar auf miene collectoracc hoch...die ist ~16MB groß.
Bei ~80% breche ich per STRG+C ab=>"uplooad aborted by user"

nun will ich die datei fortsetzen...doch macht er nicht, er läd den ganzen kram wieder von vorne hoch.


Was mache ich falsch?

[saltlake]

Poste mal bitte deine Kommandozeile.

Des weiteren sieh bitte nach, ob im Ordner nach dem abbrechen eine Datei mit dem gleichen Namen, jedoch der zusaetzlichen Endung .uploaddata existiert. Wenn das Script in diesem Ordner keine Schreibrechte besitzt, dann kann die Datei nicht fortgesetzt werden.

greetz