[robots.txt öğretici döküman] - gördüklerimin en iyisi bu. bakalım bu sitede var mıymış? botlar yavaşlatılmış mı hızlandırılmış mı?
« önceki yazı kafasi karisana a/v connections glossary |
sonraki yazı » bu siteden şu programı indirip bir milyondan faz.. |
Yorumlar
robots.txt botları bazı klasörlere sokmamaktan başka hiç bir işe yaramaz kanımca. sedoyu keşfet
| ploop | |
|
|
(0 puan) |
|
| 13 Mart 2005 22:27 |
yavaşlatıldı evet, server çok acı çekiyordu yoksa.. major arama motorları bu robots.txt kurallarına uyuyorlar. yahoo`nun agresıf slurp`ünü o sayede frenleyebildik. google da adsense ile birlikte epey haşinleşti.
| aftermath | |
|
|
(0 puan) |
|
| 13 Mart 2005 22:36 |
siberkültür'den: Web Robotlarını Kontrol Etmek
The Oracle: You really are a bastard. Agent Smith: Well you should know, mom.
| haluks[pilli_silinen_hesap] | |
|
|
(0 puan) |
|
| 14 Mart 2005 00:42 |
pillinetwork sitelerine yorum ekleyebilmek ve daha fazlası için, üye olun ya da giriş yapın.
Bu Yazıyı Tutanlar
Beğendiğiniz bir yazıya "tuttum" demek için başlığın yanındaki yıldıza tıklayabilirsiniz.
Bu yazıyı rapor et. Kural dışı içeriğe rastladığınızda editörlerimize rapor ederek müdahale edilmesini sağlayabilirsiniz. (Hangi durumlarda rapor edebilirim?)
