Tool / Service zum durchsuchen von HTML-Code vieler Websites

[machtt]

Hey, ich suche eine Programm/Service, mit dem ich den HTML Code von möglichst vielen Webseiten automatisch nach bestimmten Suchbegriffen durchsuchen kann, also beispielsweise eines bestimmten <object> o.Ä.

Da ich bisher nichts gefunden habe fange ich an zu glauben, dass dies aus irgendwelchen Gründen a) nicht geht oder b) nicht sinnvoll ist oder c) total einfach mit google geht.

Kann mir jemand auf die Sprünge helfen?

[Freakdead85]

Hallo

Also das es ein tool gibt um mit einem bestimmten suchbegriff nach bestimmten HTML codes zu suchen wäre mir neu aber es gibt eine möglichkeit html codes einzusehen in dem du mit dem suchfeld über dein object fährst was du gerne sehen würdest dies zeigt dir dann den HTML Quellcode + CSS code und javascript code an allerdings keine PHP codes das tool gibt es im Firefox und nennt sich : Firebug und lässt sich einfach in Firefox unter Extra -> Addons suchen und installieren.

solche möglichkeiten haben bestimmt auch andere Browser wahrscheinlich unter anderem Namen

Hoffe hilft dir weiter

[machtt]

Hallo,

vielen Dank für deine Antwort!

Firebug kenn ich, super Plugin wie ich finde.

Ich suche aber etwas, was möglichst automatisiert einen ganzen Haufen von verschiedenen Websites durchsucht. Also wenn ich beispielsweise den Code von einem bestimmten Videoplayer oder einen bestimmtes alt-Attribut von einem img-Tag suche und wissen möchte, wo es überall zu finden ist im Weg.

Kann man mir ungefähr folgen ?

[Freakdead85]

Hi

Was du meinst kann ich mir denken aber ein tool für solch eine Sache ist mir nicht bekannt denn habe auch nach sowas schon gesucht und nie gefunden .

Vielleicht kennt ja jemand anderes irgendwas das das kann.

[Krutius]

Wie liegen die zu durchsuchenden Webseiten vor?

Hast du eine Art Liste, oder willst du einfach das ganze Internet durchsuchen?

[Tropi]

Ich helfe gerne aus: Antwort B.

[machtt]

Moin,

genau, ideal wäre es das ganze Web durchsuchen zu können. Für den Anfang wäre mir aber auch mit einer Lösung geholfen, die eine Liste abarbeitet. Eine Liste von potentiell relevanten Websites lässt sich ja relativ leicht und schnell erstellen.

Dank & Gruß!

[Krutius]

ja, und wo ist dann das Problem?

liste durchloopen, via HTTP-GET den Content holen, und parsen. So ein script hast du dir in einer Scriptsprache deiner Wahl in 5 min gemacht!

Pseudocode:

zuDurchsuchendeUrls[] = getUrls();
foreach(aktuelleUrl in zuDurchsuchendeUrls) {
  meinHtmlCode = HttpGetContent(aktuelleUrl);
  if (meinHtmlCode.instr("suchtext")) {
    print(aktuelleUrl);
  }
}

Wenn gewünscht, kann man das auch gut noch um crawler-funktionalitäten erweitern. Also alle links auslesen, und diese der UrlListe hinzufügen. Da sollte man aber aufpassen, und die rekursion einschränken, sonst bist du bis in alle Ewigkeit am suchen. Um die original-Urls zu sammeln könnte man auch noch google-abfragen parsen.

Dann brauchst du nur noch ne fette Internetleitung und ein bisschen Rechenpower, und los geht's!