Möchtest Du nur lokale Seiten indizieren oder wirklich auch fremde Seiten aufnehmen?
Auf "normalem" Webspace wirst Du nämlich keinen Crawler betreiben können (der muss nämlich als Hintergrundprozess abgekoppelt von einem eventuellen Web-Frontend laufen), die Indizierung fremder Seiten fällt also flach!
PHP-basiert ist z.B.
phpDig. Wirklich empfehlenswert ist das aber nicht.
Wenn PHP kein Muss ist, dann sieh Dich mal auf
Freshmeat um, da findest Du eine ganze Reihe (Hyperestaier, mnoGoSearch , ht://Dig, ...).
