Du bist nicht angemeldet.

Trafficbelastung durch Spider

TheNobody Style

alter Sack, aber Chef :D

  • »TheNobody Style« ist der Autor dieses Themas

Beiträge: 4 678

Vorname: Andreas

  • Private Nachricht senden

1

Freitag, 1. April 2005, 10:21

Trafficbelastung durch Spider

Hier mal die Übersicht der Zugriffe durch die Spider der verschiedenen SuMas auf das WSB. Netterweise kommt da nen nettes Sümmchen zusammen (ca. 1GB). Wenn ich mir da so kleine Webspacepakete vorstelle ... dann können Spider doch schon zu einem Problem werden.

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

Spider                                   Zugriffe   Traffic

Inktomi Slurp                              20045   238.60 MB
Googlebot (Google)                         12894   237.94 MB
MSNBot                                     11595   534.76 MB
EIT Link Verifier Robot                    1433    7.00 KB
Unknown robot (identified by 'crawl')      1139    8.40 MB
GigaBot                                    244     17.09 MB
Turn It In                                 62      429.90 KB
Walhello appie                             29      1.13 MB
BaiDuSpider                                40      891.42 KB
LinkWalker                                 34      676.12 KB
Unknown robot (identified by 'robot')      15      254.69 KB
IBM_Planetwide                             30      96.16 KB
larbin                                     24      618.91 KB
Voila                                      5       59.24 KB
Alexa (IA Archiver)                        10      101.28 KB
Speedy Spider                              8       43.27 KB
Jeeves                                     3       37.31 KB
WISENutbot (Looksmart)                     5       56.18 KB
Unknown robot (identified by 'spider')     4       61.89 KB
Pompos                                     1       17.98 KB
psBot                                      1       17.07 KB
Scooter (AltaVista)                        1       52.20 KB


Nur um sich mal die Dimension klar zu machen ... Auf dem WSB ist die Trafficbelastung durch Spider ein wenig höher, als durch Menschen (was wohl auch mit der Komprimierung zu tun hat)
Signatur von »TheNobody Style«

Patrick

Fortgeschrittener

Beiträge: 295

  • Private Nachricht senden

2

Montag, 22. August 2005, 15:50

Welchen Zeitraum stellt die Tabelle dar?
Signatur von »Patrick«
Watislos? :disappointed:

TheNobody Style

alter Sack, aber Chef :D

  • »TheNobody Style« ist der Autor dieses Themas

Beiträge: 4 678

Vorname: Andreas

  • Private Nachricht senden

3

Montag, 22. August 2005, 16:02

Zeitraum ist ein Monat

Hier mal die Zahlen des letzten Monats (juli 2005) ... auch wie ca nen Giga

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

Spider                   Zugriffe   Traffic

Inktomi Slurp             17292   210.73 MB
MSNBot                    12783   570.23 MB
Googlebot (Google)        7032    289.79 MB
GigaBot                   1676    69.69 MB
EIT Link Verifier Robot   1430    10.40 KB
IBM_Planetwide            1231    57.71 MB
Unknown robot             508     4.79 MB
WISENutbot (Looksmart)    503     6.87 MB
Jeeves                    84      477.29 KB
Unknown robot             85      1.74 MB
Turn It In                83      634.67 KB 
Walhello appie            66      2.22 MB
psBot                     62      1.28 MB
WebWatch                  39      101.37 KB
Voila                     5       71.50 KB
Alexa (IA Archiver)       12      405.52 KB
larbin                    4       220.71 KB
Signatur von »TheNobody Style«

Nash.Bridges

Profi

Beiträge: 1 426

  • Private Nachricht senden

4

Montag, 22. August 2005, 16:09

Was ist den "Inktomi Slurp" für ein Bot bzw. zu welcher Suchmaschine gehört der?

LapisInfernalis

Super Moderator

Beiträge: 2 817

  • Private Nachricht senden

5

Montag, 22. August 2005, 16:17

Signatur von »LapisInfernalis« Eine Milde Gabe...

Der Horizont vieler Menschen ist ein Kreis mit dem Radius Null - und das nennen sie ihren Standpunkt.
Albert Einstein (1879-1955)

A common mistake people make when trying to design something completely foolproof is to underestimate the ingenuity of complete fools.
Douglas Adams (1952-2001)

TheNobody Style

alter Sack, aber Chef :D

  • »TheNobody Style« ist der Autor dieses Themas

Beiträge: 4 678

Vorname: Andreas

  • Private Nachricht senden

6

Donnerstag, 13. April 2006, 14:36

mal wieder was dazu ... ich war gerade mal wieder in den Stats gucken und siehe da ... und wir haben noch nicht mal den halben April rum ....
Signatur von »TheNobody Style«

Lesezeichen: