[DiNozzo]

http://www.google.de/bot.html
http://de.wikipedia.org/wiki/Googlebot
http://de.wikipedia....wiki/Webcrawler

[XxGabbah@dxX]

Das ist mir aber neu das der Bot mitliest.
Eigendlich spidert crawlt er nur die einzelnen Links. Es bedinden sich täglich mehre dutzen Suchmachschienen Bots auf den Seiten. Auch hier befinden sich "regelmäßig" mehr als 5 Spider (crawler) auf der Seite. Sie geben sich allerdings nicht so leicht zu erkennen wie der Googlebot). Also nichts von wegen mitlesen und bei Google reinschreiben. Jedesmal wenn jemand bei Google was sucht und den Link zu dieser Seite hier findet und anklickt, wird der Bot aktiv und crawlt die Seite nach weiteren Links und Informationen.

Und je öfters das Forum hier verlinkt wird, desto höher steigt der Pagerank und desto öfters wird sich der Googlebot hier auch aufhalten, da dadurch natürlich mehr Suchbegriffe gefunden werden und mehr User über Google hier herfinden.

Ach ja und glaubt nicht immer alles was in Wiki steht. Ist ja mittlerweile wie eine Volksseuche geworden. Denn jeder meint mit Wiki alles erklären zu können.

PS.: Ein guter Metagtag kann google noch etwas helfen die Seite besser zum Thema zu finden. Wer überhaupt nich möchte, das google auf die Seite crawlt, muss die in der Robot.txt definieren.

[stefanra]

Der Googlebot identifiziert sich, in dem er als UserAgent "Googlebot" angibt. Die Forensoftware erkennt den Gast, der als Googlebot surft und fügt ihn als "google" in die Liste der Onlineuser ein - so schaut's aus!

[XxGabbah@dxX]

Jup genau so sieht es aus.
Ist bei uns im Forum ähnlich...WoltLab Burning Bord 2
Dort sieht man aber auch alle anderen Bots und da merkt man schnell das es nicht wenig sind, die täglich auf den Seiten surfen. Allerdings erkennt die Software nicht alle Bots. Kann man aber in Form eines Addons nachrüsten.

[radyr]

Für alle die es interessiert, hier mal eine Liste der bekanntesten Bots:

appie=[BOT] Walhello appie
architext=[BOT] ArchitextSpider
jeeves=[BOT] AskJeeves
bjaaland=[BOT] Bjaaland
ferret=[BOT] Wild Ferret Web Hopper
googlebot=[BOT] Googlebot
gulliver=[BOT] Northern Light Gulliver
harvest=[BOT] Harvest
htdig=[BOT] ht://Dig
linkwalker=[BOT] LinkWalker
lycos_=[BOT] Lycos
moget=[BOT] moget
muscatferret=[BOT] Muscat Ferret
myweb=[BOT] Internet Shinchakubin
nomad=[BOT] Nomad
scooter=[BOT] Scooter
slurp=[BOT] Inktomi Slurp
voyager=[BOT] Voyager
weblayers=[BOT] weblayers
antibot=[BOT] Antibot
digout4u=[BOT] Digout4u
echo=[BOT] EchO!
fast-webcrawler=[BOT] Fast-Webcrawler
ia_archiver=[BOT] Alexa (IA Archiver)
jennybot=[BOT] JennyBot
mercator=[BOT] Mercator
msnbot=[BOT] MSNBot
netcraft=[BOT] Netcraft
petersnews=[BOT] Petersnews
unlost_web_crawler=[BOT] Unlost Web Crawler
voila=[BOT] Voila
webbase=[BOT] WebBase
wisenutbot=[BOT] WISENutbot
fish=[BOT] Fish search
abcdatos=[BOT] ABCdatos BotLink
acme.spider=[BOT] Acme.Spider
ahoythehomepagefinder=[BOT] Ahoy! The Homepage Finder
alkaline=[BOT] Alkaline
anthill=[BOT] Anthill
arachnophilia=[BOT] Arachnophilia
arale=[BOT] Arale
araneo=[BOT] Araneo
aretha=[BOT] Aretha
ariadne=[BOT] ARIADNE
arks=[BOT] arks
aspider=[BOT] ASpider (Associative Spider)
atn.txt=[BOT] ATN Worldwide
atomz=[BOT] Atomz.com Search Robot
auresys=[BOT] AURESYS
backrub=[BOT] BackRub
bbot=[BOT] BBot
bigbrother=[BOT] Big Brother
blackwidow=[BOT] BlackWidow
blindekuh=[BOT] Die Blinde Kuh
bloodhound=[BOT] Bloodhound
borg-bot=[BOT] Borg-Bot
brightnet=[BOT] bright.net caching robot
bspider=[BOT] BSpider
cactvschemistryspider=[BOT] CACTVS Chemistry Spider
calif=[BOT] Calif
cassandra=[BOT] Cassandra
cgireader=[BOT] Digimarc Marcspider/CGI
checkbot=[BOT] Checkbot
christcrawler=[BOT] ChristCrawler.com
churl=[BOT] churl
cienciaficcion=[BOT] cIeNcIaFiCcIoN.nEt
collective=[BOT] Collective
combine=[BOT] Combine System
conceptbot=[BOT] Conceptbot
coolbot=[BOT] CoolBot
core=[BOT] Web Core / Roots
cosmos=[BOT] XYLEME Robot
cruiser=[BOT] Internet Cruiser Robot
cusco=[BOT] Cusco
cyberspyder=[BOT] CyberSpyder Link Test
desertrealm=[BOT] Desert Realm Spider
deweb=[BOT] DeWeb(c) Katalog/Index
dienstspider=[BOT] DienstSpider
digger=[BOT] Digger
diibot=[BOT] Digital Integrity Robot
direct_hit=[BOT] Direct Hit Grabber
dnabot=[BOT] DNAbot
download_express=[BOT] DownLoad Express
dragonbot=[BOT] DragonBot
dwcp=[BOT] DWCP (Dridus Web Cataloging Project)
e-collector=[BOT] e-collector
ebiness=[BOT] EbiNess
elfinbot=[BOT] ELFINBOT
emacs=[BOT] Emacs-w3 Search Engine
emcspider=[BOT] ananzi
esther=[BOT] Esther
evliyacelebi=[BOT] Evliya Celebi
fastcrawler=[BOT] FastCrawler
fdse=[BOT] Fluid Dynamics Search Engine robot
felix=[BOT] Felix IDE
fetchrover=[BOT] FetchRover
fido=[BOT] fido
finnish=[BOT] Hämähäkki
fireball=[BOT] KIT-Fireball
fouineur=[BOT] Fouineur
francoroute=[BOT] Robot Francoroute
freecrawl=[BOT] Freecrawl
funnelweb=[BOT] FunnelWeb
gama=[BOT] gammaSpider, FocusedCrawler
gazz=[BOT] gazz
gcreep=[BOT] GCreep
getbot=[BOT] GetBot
geturl=[BOT] GetURL
golem=[BOT] Golem
grapnel=[BOT] Grapnel/0.01 Experiment
griffon=[BOT] Griffon
gromit=[BOT] Gromit
gulperbot=[BOT] Gulper Bot
hambot=[BOT] HamBot
havindex=[BOT] havIndex
hometown=[BOT] Hometown Spider Pro
htmlgobble=[BOT] HTMLgobble
hyperdecontextualizer=[BOT] Hyper-Decontextualizer
iajabot=[BOT] iajaBot
iconoclast=[BOT] Popular Iconoclast
ilse=[BOT] Ingrid
imagelock=[BOT] Imagelock
incywincy=[BOT] IncyWincy
informant=[BOT] Informant
infoseek=[BOT] InfoSeek Robot 1.0
infoseeksidewinder=[BOT] Infoseek Sidewinder
infospider=[BOT] InfoSpiders
inspectorwww=[BOT] Inspector Web
intelliagent=[BOT] IntelliAgent
irobot=[BOT] I, Robot
iron33=[BOT] Iron33
israelisearch=[BOT] Israeli-search
javabee=[BOT] JavaBee
jbot=[BOT] JBot Java Web Robot
jcrawler=[BOT] JCrawler
jobo=[BOT] JoBo Java Web Robot
jobot=[BOT] Jobot
joebot=[BOT] JoeBot
jubii=[BOT] The Jubii Indexing Robot
jumpstation=[BOT] JumpStation
kapsi=[BOT] image.kapsi.net
katipo=[BOT] Katipo
kilroy=[BOT] Kilroy
ko_yappo_robot=[BOT] KO_Yappo_Robot
labelgrabber.txt=[BOT] LabelGrabber
larbin=[BOT] larbin
legs=[BOT] legs
linkidator=[BOT] Link Validator
linkscan=[BOT] LinkScan
lockon=[BOT] Lockon
logo_gif=[BOT] logo.gif Crawler
macworm=[BOT] Mac WWWWorm
magpie=[BOT] Magpie
marvin=[BOT] marvin/infoseek
mattie=[BOT] Mattie
mediafox=[BOT] MediaFox
merzscope=[BOT] MerzScope
meshexplorer=[BOT] NEC-MeshExplorer
mindcrawler=[BOT] MindCrawler
mnogosearch=[BOT] mnoGoSearch search engine software
momspider=[BOT] MOMspider
monster=[BOT] Monster
motor=[BOT] Motor
muncher=[BOT] Muncher
mwdsearch=[BOT] Mwd.Search
ndspider=[BOT] NDSpider
nederland.zoek=[BOT] Nederland.zoek
netcarta=[BOT] NetCarta WebMap Engine
netmechanic=[BOT] NetMechanic
netscoop=[BOT] NetScoop
newscan-online=[BOT] newscan-online
nhse=[BOT] NHSE Web Forager
northstar=[BOT] The NorthStar Robot
nzexplorer=[BOT] nzexplorer
objectssearch=[BOT] ObjectsSearch
occam=[BOT] Occam
octopus=[BOT] HKU WWW Octopus
openfind=[BOT] Openfind data gatherer
orb_search=[BOT] Orb Search
packrat=[BOT] Pack Rat
pageboy=[BOT] PageBoy
parasite=[BOT] ParaSite
patric=[BOT] Patric
pegasus=[BOT] pegasus
perignator=[BOT] The Peregrinator
perlcrawler=[BOT] PerlCrawler 1.0
phantom=[BOT] Phantom
phpdig=[BOT] PhpDig
piltdownman=[BOT] PiltdownMan
pimptrain=[BOT] Pimptrain.com\'s robot
pioneer=[BOT] Pioneer
pitkow=[BOT] html_analyzer
pjspider=[BOT] Portal Juice Spider
plumtreewebaccessor=[BOT] PlumtreeWebAccessor
poppi=[BOT] Poppi
portalb=[BOT] PortalB Spider
psbot=[BOT] psbot
python=[BOT] The Python Robot
raven=[BOT] Raven Search
rbse=[BOT] RBSE Spider
resumerobot=[BOT] Resume Robot
rhcs=[BOT] RoadHouse Crawling System
road_runner=[BOT] Road Runner: The ImageScape Robot
robbie=[BOT] Robbie the Robot
robi=[BOT] ComputingSite Robi/1.0
robocrawl=[BOT] RoboCrawl Spider
robofox=[BOT] RoboFox
robozilla=[BOT] Robozilla
roverbot=[BOT] Roverbot
rules=[BOT] RuLeS
safetynetrobot=[BOT] SafetyNet Robot
search-info=[BOT] Sleek
search_au=[BOT] Search.Aus-AU.COM
searchprocess=[BOT] SearchProcess
senrigan=[BOT] Senrigan
sgscout=[BOT] SG-Scout
shaggy=[BOT] ShagSeeker
sift=[BOT] Sift
simbot=[BOT] Simmany Robot Ver1.0
site-valet=[BOT] Site Valet
sitetech=[BOT] SiteTech-Rover
skymob=[BOT] Skymob.com
slcrawler=[BOT] SLCrawler
smartspider=[BOT] Smart Spider
snooper=[BOT] Snooper
solbot=[BOT] Solbot
speedy=[BOT] Speedy Spider
spider_monkey=[BOT] spider_monkey
spiderbot=[BOT] SpiderBot
spiderline=[BOT] Spiderline Crawler
spiderman=[BOT] SpiderMan
spiderview=[BOT] SpiderView(tm)
spry=[BOT] Spry Wizard Robot
ssearcher=[BOT] Site Searcher
suke=[BOT] Suke
suntek=[BOT] suntek search engine
sven=[BOT] Sven
tach_bw=[BOT] TACH Black Widow
tarantula=[BOT] Tarantula
tarspider=[BOT] tarspider
techbot=[BOT] TechBOT
templeton=[BOT] Templeton
titan=[BOT] TITAN
titin=[BOT] TitIn
tkwww=[BOT] The TkWWW Robot
tlspider=[BOT] TLSpider
ucsd=[BOT] UCSD Crawl
udmsearch=[BOT] UdmSearch
urlck=[BOT] URL Check
valkyrie=[BOT] Valkyrie
verticrawl=[BOT] Verticrawl
victoria=[BOT] Victoria
visionsearch=[BOT] vision-search
voidbot=[BOT] void-bot
vwbot=[BOT] VWbot
w3index=[BOT] The NWI Robot
w3m2=[BOT] W3M2
wallpaper=[BOT] WallPaper (alias crawlpaper)
wanderer=[BOT] the World Wide Web Wanderer
wapspider=[BOT] w@pSpider by wap4.com
webbandit=[BOT] WebBandit Web Spider
webcatcher=[BOT] WebCatcher
webcopy=[BOT] WebCopy
webfetcher=[BOT] webfetcher
webfoot=[BOT] The Webfoot Robot
webinator=[BOT] Webinator
weblinker=[BOT] WebLinker
webmirror=[BOT] WebMirror
webmoose=[BOT] The Web Moose
webquest=[BOT] WebQuest
webreader=[BOT] Digimarc MarcSpider
webreaper=[BOT] WebReaper
websnarf=[BOT] Websnarf
webspider=[BOT] WebSpider
webvac=[BOT] WebVac
webwalk=[BOT] webwalk
webwalker=[BOT] WebWalker
webwatch=[BOT] WebWatch
whatuseek=[BOT] whatUseek Winona
whowhere=[BOT] WhoWhere Robot
wired-digital=[BOT] Wired Digital
wmir=[BOT] w3mir
wolp=[BOT] WebStolperer
wombat=[BOT] The Web Wombat
worm=[BOT] The World Wide Web Worm
wwwc=[BOT] WWWC Ver 0.2.5
wz101=[BOT] WebZinger
xget=[BOT] XGET
aport=[BOT] Aport
awbot=[BOT] AWBot
baiduspider=[BOT] BaiDuSpider
bobby=[BOT] Bobby 
boris=[BOT] Boris
bumblebee=[BOT] Bumblebee (relevare.com)
cscrawler=[BOT] CsCrawler
daviesbot=[BOT] DaviesBot
exactseek=[BOT] ExactSeek Crawler
ezresult=[BOT] Ezresult
gigabot=[BOT] GigaBot
gnodspider=[BOT] GNOD Spider
grub=[BOT] Grub.org
henrythemiragorobot=[BOT] Mirago
holmes=[BOT] Holmes
internetseer=[BOT] InternetSeer
justview=[BOT] JustView
linkbot=[BOT] LinkBot
linkchecker=[BOT] LinkChecker
mediapartners-google=[BOT] Google AdSense
metager-linkchecker=[BOT] MetaGer LinkChecker
microsoft_url_control=[BOT] Microsoft URL Control
nagios=[BOT] Nagios
msiecrawler=[BOT] MSIECrawler
perman=[BOT] Perman surfer
pompos=[BOT] Pompos
rambler=[BOT] StackRambler
redalert=[BOT] Red alert
shoutcast=[BOT] Shoutcast Directory Service
slysearch=[BOT] SlySearch
surveybot=[BOT] SurveyBot
turnitinbot=[BOT] Turn It In
turtle=[BOT] Turtle
turtlescanner=[BOT] Turtle
ultraseek=[BOT] Ultraseek
webclipping.com=[BOT] WebClipping.com
webcompass=[BOT] webcompass
wonderer=[BOT] Web Wombat Redback Spider
yahoo-verticalcrawler=[BOT] Yahoo Vertical Crawler
yandex=[BOT] Yandex bot
zealbot=[BOT] ZealBot
zyborg=[BOT] Zyborg
robot=[BOT] Unbekannt (Erkannt an 'robot')
crawl=[BOT] Unbekannt (Erkannt an 'crawl')
spider=[BOT] Unbekannt (Erkannt an 'spider')
fast-webcrawler=[BOT] AllTheWeb
googlebot=[BOT] Google
msnbot=[BOT] MSN
scooter=[BOT] AltaVista
wisenutbot=[BOT] Looksmart
yahoo-verticalcrawler=[BOT] Yahoo
zyborg=[BOT] Looksmart

[TO_Webmaster]

Zitat (rehleinkiller: 24.07.2006, 22:50)

Für alle die es interessiert, hier mal eine Liste der bekanntesten Bots:

appie=[BOT] Walhello appie
architext=[BOT] ArchitextSpider
jeeves=[BOT] AskJeeves
bjaaland=[BOT] Bjaaland
ferret=[BOT] Wild Ferret Web Hopper
googlebot=[BOT] Googlebot
gulliver=[BOT] Northern Light Gulliver
harvest=[BOT] Harvest
htdig=[BOT] ht://Dig
linkwalker=[BOT] LinkWalker
lycos_=[BOT] Lycos
moget=[BOT] moget
muscatferret=[BOT] Muscat Ferret
myweb=[BOT] Internet Shinchakubin
nomad=[BOT] Nomad
scooter=[BOT] Scooter
slurp=[BOT] Inktomi Slurp
voyager=[BOT] Voyager
weblayers=[BOT] weblayers
antibot=[BOT] Antibot
digout4u=[BOT] Digout4u
echo=[BOT] EchO!
fast-webcrawler=[BOT] Fast-Webcrawler
ia_archiver=[BOT] Alexa (IA Archiver)
jennybot=[BOT] JennyBot
mercator=[BOT] Mercator
msnbot=[BOT] MSNBot
netcraft=[BOT] Netcraft
petersnews=[BOT] Petersnews
unlost_web_crawler=[BOT] Unlost Web Crawler
voila=[BOT] Voila
webbase=[BOT] WebBase
wisenutbot=[BOT] WISENutbot
fish=[BOT] Fish search
abcdatos=[BOT] ABCdatos BotLink
acme.spider=[BOT] Acme.Spider
ahoythehomepagefinder=[BOT] Ahoy! The Homepage Finder
alkaline=[BOT] Alkaline
anthill=[BOT] Anthill
arachnophilia=[BOT] Arachnophilia
arale=[BOT] Arale
araneo=[BOT] Araneo
aretha=[BOT] Aretha
ariadne=[BOT] ARIADNE
arks=[BOT] arks
aspider=[BOT] ASpider (Associative Spider)
atn.txt=[BOT] ATN Worldwide
atomz=[BOT] Atomz.com Search Robot
auresys=[BOT] AURESYS
backrub=[BOT] BackRub
bbot=[BOT] BBot
bigbrother=[BOT] Big Brother
blackwidow=[BOT] BlackWidow
blindekuh=[BOT] Die Blinde Kuh
bloodhound=[BOT] Bloodhound
borg-bot=[BOT] Borg-Bot
brightnet=[BOT] bright.net caching robot
bspider=[BOT] BSpider
cactvschemistryspider=[BOT] CACTVS Chemistry Spider
calif=[BOT] Calif
cassandra=[BOT] Cassandra
cgireader=[BOT] Digimarc Marcspider/CGI
checkbot=[BOT] Checkbot
christcrawler=[BOT] ChristCrawler.com
churl=[BOT] churl
cienciaficcion=[BOT] cIeNcIaFiCcIoN.nEt
collective=[BOT] Collective
combine=[BOT] Combine System
conceptbot=[BOT] Conceptbot
coolbot=[BOT] CoolBot
core=[BOT] Web Core / Roots
cosmos=[BOT] XYLEME Robot
cruiser=[BOT] Internet Cruiser Robot
cusco=[BOT] Cusco
cyberspyder=[BOT] CyberSpyder Link Test
desertrealm=[BOT] Desert Realm Spider
deweb=[BOT] DeWeb© Katalog/Index
dienstspider=[BOT] DienstSpider
digger=[BOT] Digger
diibot=[BOT] Digital Integrity Robot
direct_hit=[BOT] Direct Hit Grabber
dnabot=[BOT] DNAbot
download_express=[BOT] DownLoad Express
dragonbot=[BOT] DragonBot
dwcp=[BOT] DWCP (Dridus Web Cataloging Project)
e-collector=[BOT] e-collector
ebiness=[BOT] EbiNess
elfinbot=[BOT] ELFINBOT
emacs=[BOT] Emacs-w3 Search Engine
emcspider=[BOT] ananzi
esther=[BOT] Esther
evliyacelebi=[BOT] Evliya Celebi
fastcrawler=[BOT] FastCrawler
fdse=[BOT] Fluid Dynamics Search Engine robot
felix=[BOT] Felix IDE
fetchrover=[BOT] FetchRover
fido=[BOT] fido
finnish=[BOT] Hämähäkki
fireball=[BOT] KIT-Fireball
fouineur=[BOT] Fouineur
francoroute=[BOT] Robot Francoroute
freecrawl=[BOT] Freecrawl
funnelweb=[BOT] FunnelWeb
gama=[BOT] gammaSpider, FocusedCrawler
gazz=[BOT] gazz
gcreep=[BOT] GCreep
getbot=[BOT] GetBot
geturl=[BOT] GetURL
golem=[BOT] Golem
grapnel=[BOT] Grapnel/0.01 Experiment
griffon=[BOT] Griffon
gromit=[BOT] Gromit
gulperbot=[BOT] Gulper Bot
hambot=[BOT] HamBot
havindex=[BOT] havIndex
hometown=[BOT] Hometown Spider Pro
htmlgobble=[BOT] HTMLgobble
hyperdecontextualizer=[BOT] Hyper-Decontextualizer
iajabot=[BOT] iajaBot
iconoclast=[BOT] Popular Iconoclast
ilse=[BOT] Ingrid
imagelock=[BOT] Imagelock
incywincy=[BOT] IncyWincy
informant=[BOT] Informant
infoseek=[BOT] InfoSeek Robot 1.0
infoseeksidewinder=[BOT] Infoseek Sidewinder
infospider=[BOT] InfoSpiders
inspectorwww=[BOT] Inspector Web
intelliagent=[BOT] IntelliAgent
irobot=[BOT] I, Robot
iron33=[BOT] Iron33
israelisearch=[BOT] Israeli-search
javabee=[BOT] JavaBee
jbot=[BOT] JBot Java Web Robot
jcrawler=[BOT] JCrawler
jobo=[BOT] JoBo Java Web Robot
jobot=[BOT] Jobot
joebot=[BOT] JoeBot
jubii=[BOT] The Jubii Indexing Robot
jumpstation=[BOT] JumpStation
kapsi=[BOT] image.kapsi.net
katipo=[BOT] Katipo
kilroy=[BOT] Kilroy
ko_yappo_robot=[BOT] KO_Yappo_Robot
labelgrabber.txt=[BOT] LabelGrabber
larbin=[BOT] larbin
legs=[BOT] legs
linkidator=[BOT] Link Validator
linkscan=[BOT] LinkScan
lockon=[BOT] Lockon
logo_gif=[BOT] logo.gif Crawler
macworm=[BOT] Mac WWWWorm
magpie=[BOT] Magpie
marvin=[BOT] marvin/infoseek
mattie=[BOT] Mattie
mediafox=[BOT] MediaFox
merzscope=[BOT] MerzScope
meshexplorer=[BOT] NEC-MeshExplorer
mindcrawler=[BOT] MindCrawler
mnogosearch=[BOT] mnoGoSearch search engine software
momspider=[BOT] MOMspider
monster=[BOT] Monster
motor=[BOT] Motor
muncher=[BOT] Muncher
mwdsearch=[BOT] Mwd.Search
ndspider=[BOT] NDSpider
nederland.zoek=[BOT] Nederland.zoek
netcarta=[BOT] NetCarta WebMap Engine
netmechanic=[BOT] NetMechanic
netscoop=[BOT] NetScoop
newscan-online=[BOT] newscan-online
nhse=[BOT] NHSE Web Forager
northstar=[BOT] The NorthStar Robot
nzexplorer=[BOT] nzexplorer
objectssearch=[BOT] ObjectsSearch
occam=[BOT] Occam
octopus=[BOT] HKU WWW Octopus
openfind=[BOT] Openfind data gatherer
orb_search=[BOT] Orb Search
packrat=[BOT] Pack Rat
pageboy=[BOT] PageBoy
parasite=[BOT] ParaSite
patric=[BOT] Patric
pegasus=[BOT] pegasus
perignator=[BOT] The Peregrinator
perlcrawler=[BOT] PerlCrawler 1.0
phantom=[BOT] Phantom
phpdig=[BOT] PhpDig
piltdownman=[BOT] PiltdownMan
pimptrain=[BOT] Pimptrain.com\'s robot
pioneer=[BOT] Pioneer
pitkow=[BOT] html_analyzer
pjspider=[BOT] Portal Juice Spider
plumtreewebaccessor=[BOT] PlumtreeWebAccessor
poppi=[BOT] Poppi
portalb=[BOT] PortalB Spider
psbot=[BOT] psbot
python=[BOT] The Python Robot
raven=[BOT] Raven Search
rbse=[BOT] RBSE Spider
resumerobot=[BOT] Resume Robot
rhcs=[BOT] RoadHouse Crawling System
road_runner=[BOT] Road Runner: The ImageScape Robot
robbie=[BOT] Robbie the Robot
robi=[BOT] ComputingSite Robi/1.0
robocrawl=[BOT] RoboCrawl Spider
robofox=[BOT] RoboFox
robozilla=[BOT] Robozilla
roverbot=[BOT] Roverbot
rules=[BOT] RuLeS
safetynetrobot=[BOT] SafetyNet Robot
search-info=[BOT] Sleek
search_au=[BOT] Search.Aus-AU.COM
searchprocess=[BOT] SearchProcess
senrigan=[BOT] Senrigan
sgscout=[BOT] SG-Scout
shaggy=[BOT] ShagSeeker
sift=[BOT] Sift
simbot=[BOT] Simmany Robot Ver1.0
site-valet=[BOT] Site Valet
sitetech=[BOT] SiteTech-Rover
skymob=[BOT] Skymob.com
slcrawler=[BOT] SLCrawler
smartspider=[BOT] Smart Spider
snooper=[BOT] Snooper
solbot=[BOT] Solbot
speedy=[BOT] Speedy Spider
spider_monkey=[BOT] spider_monkey
spiderbot=[BOT] SpiderBot
spiderline=[BOT] Spiderline Crawler
spiderman=[BOT] SpiderMan
spiderview=[BOT] SpiderView™
spry=[BOT] Spry Wizard Robot
ssearcher=[BOT] Site Searcher
suke=[BOT] Suke
suntek=[BOT] suntek search engine
sven=[BOT] Sven
tach_bw=[BOT] TACH Black Widow
tarantula=[BOT] Tarantula
tarspider=[BOT] tarspider
techbot=[BOT] TechBOT
templeton=[BOT] Templeton
titan=[BOT] TITAN
titin=[BOT] TitIn
tkwww=[BOT] The TkWWW Robot
tlspider=[BOT] TLSpider
ucsd=[BOT] UCSD Crawl
udmsearch=[BOT] UdmSearch
urlck=[BOT] URL Check
valkyrie=[BOT] Valkyrie
verticrawl=[BOT] Verticrawl
victoria=[BOT] Victoria
visionsearch=[BOT] vision-search
voidbot=[BOT] void-bot
vwbot=[BOT] VWbot
w3index=[BOT] The NWI Robot
w3m2=[BOT] W3M2
wallpaper=[BOT] WallPaper (alias crawlpaper)
wanderer=[BOT] the World Wide Web Wanderer
wapspider=[BOT] w@pSpider by wap4.com
webbandit=[BOT] WebBandit Web Spider
webcatcher=[BOT] WebCatcher
webcopy=[BOT] WebCopy
webfetcher=[BOT] webfetcher
webfoot=[BOT] The Webfoot Robot
webinator=[BOT] Webinator
weblinker=[BOT] WebLinker
webmirror=[BOT] WebMirror
webmoose=[BOT] The Web Moose
webquest=[BOT] WebQuest
webreader=[BOT] Digimarc MarcSpider
webreaper=[BOT] WebReaper
websnarf=[BOT] Websnarf
webspider=[BOT] WebSpider
webvac=[BOT] WebVac
webwalk=[BOT] webwalk
webwalker=[BOT] WebWalker
webwatch=[BOT] WebWatch
whatuseek=[BOT] whatUseek Winona
whowhere=[BOT] WhoWhere Robot
wired-digital=[BOT] Wired Digital
wmir=[BOT] w3mir
wolp=[BOT] WebStolperer
wombat=[BOT] The Web Wombat
worm=[BOT] The World Wide Web Worm
wwwc=[BOT] WWWC Ver 0.2.5
wz101=[BOT] WebZinger
xget=[BOT] XGET
aport=[BOT] Aport
awbot=[BOT] AWBot
baiduspider=[BOT] BaiDuSpider
bobby=[BOT] Bobby 
boris=[BOT] Boris
bumblebee=[BOT] Bumblebee (relevare.com)
cscrawler=[BOT] CsCrawler
daviesbot=[BOT] DaviesBot
exactseek=[BOT] ExactSeek Crawler
ezresult=[BOT] Ezresult
gigabot=[BOT] GigaBot
gnodspider=[BOT] GNOD Spider
grub=[BOT] Grub.org
henrythemiragorobot=[BOT] Mirago
holmes=[BOT] Holmes
internetseer=[BOT] InternetSeer
justview=[BOT] JustView
linkbot=[BOT] LinkBot
linkchecker=[BOT] LinkChecker
mediapartners-google=[BOT] Google AdSense
metager-linkchecker=[BOT] MetaGer LinkChecker
microsoft_url_control=[BOT] Microsoft URL Control
nagios=[BOT] Nagios
msiecrawler=[BOT] MSIECrawler
perman=[BOT] Perman surfer
pompos=[BOT] Pompos
rambler=[BOT] StackRambler
redalert=[BOT] Red alert
shoutcast=[BOT] Shoutcast Directory Service
slysearch=[BOT] SlySearch
surveybot=[BOT] SurveyBot
turnitinbot=[BOT] Turn It In
turtle=[BOT] Turtle
turtlescanner=[BOT] Turtle
ultraseek=[BOT] Ultraseek
webclipping.com=[BOT] WebClipping.com
webcompass=[BOT] webcompass
wonderer=[BOT] Web Wombat Redback Spider
yahoo-verticalcrawler=[BOT] Yahoo Vertical Crawler
yandex=[BOT] Yandex bot
zealbot=[BOT] ZealBot
zyborg=[BOT] Zyborg
robot=[BOT] Unbekannt (Erkannt an 'robot')
crawl=[BOT] Unbekannt (Erkannt an 'crawl')
spider=[BOT] Unbekannt (Erkannt an 'spider')
fast-webcrawler=[BOT] AllTheWeb
googlebot=[BOT] Google
msnbot=[BOT] MSN
scooter=[BOT] AltaVista
wisenutbot=[BOT] Looksmart
yahoo-verticalcrawler=[BOT] Yahoo
zyborg=[BOT] Looksmart

Wobei bei

echo=[BOT] EchO!

leider auch Bon Echo (Alpha-Version von Firefox) erkannt wird... Hatte damals in manchen Foren Probleme damit.

[ichbines]

hm, das System ist komplizierter aufgebaut. Ich wollte das ganze mal testen und wollte testweise als "Googlebot/2.1 (+http://www.googlebot.com/bot.html)" surfen. Ich werde nicht als Googlebot erkannt.

Aber beim Posten als Googlebot und eingeloggt gibts eine Fehlermeldung

Dieser Beitrag wurde von ichbines bearbeitet: 24. Juli 2006 - 22:16

[TO_Webmaster]

Wenn ich bei general.useragent.extra.firefox einfach mal googlebot eintrage, erkennt er mich irgendwie. Ich kann mich dann nicht einloggen.

Dieser Beitrag wurde von TO_Webmaster bearbeitet: 24. Juli 2006 - 22:21

[ichbines]

OK, hast recht. Mit Wget (wget -U "googlebot" "http://www.winfuture-forum.de/index.php?showtopic=48653") z.B. gehts auch. Diese Usererkennnung von oben habe ich im konqueror ausgewählt.

Firefox geht bei mir nicht wegen einen Speicherzugriffsfehler. Ich muss mal die 2er Version testen.