Etiket: robots.txt
robots.txt hakkındaki yazılar:
generators
Tasarlarken veya kodlarken, bazen günlerce uğraşmak zorunda kaldığımız, tasarım öğelerini ve kodlamaları, internet üzerinden birkaç saniye içinde oluşturmamızı sağlayan online araçları, bir araya toplayan generateursweb2.com sitesi 1100 'den fazla online aracı listelemiş.
ASCII, css, tasarım, e-mail, favicon, flash, form, eğlence, Htacess, resim, meta tag, alan adı, pdf, text, robot.txt, sitemap gibi, 22 kategori başlığı altında sunulan online araçların listesini buradan görebilir, eğer sizin de böyle bir çalışmanız var ise, buradaki formu doldurarak, liste de yer almasını sağlayabilirsiniz.
- filezza
- 5 yorum var
- 05 Ağustos 2008 13:22
bir çok kişi merak etmiştir. hiç bir yere web sitemi eklemediğim halde bu google beni nasıl buluyor ve nasıl sitemi sayfasına ekliyor diye.
sorunun cevabı aslında çok basit. google teknolojisi botlar (robotlar). google botları internet üzerinde var olan tüm IP adreslerini teker teker, sıralı bir algoritmada tarayıp, bu ip adreslerine giriş yapıyorlar. yani google sizin web sitenize websiteniz.com olarak girmiyor, 85.158.77.85 ... 85.158.77.86 (sıralı) giriyor. web sitenize giren robot, önce web sitenizde bir robots.txt varmı diye bakar. eğer varsa ona göre hareket eder, yoksa tüm içeriği veritabanına kaydedip google'da yayınlanma kuyruğuna atar. robot web sitenizde geçerken, google tarafından zararlı olarak nitelendirilebilecek bir içeriğe rastlarsa bu notu düşerek veritabanına siteyi kaydeder. olası zararlı içeriğe sahip içerikli siteler, google çalışanları tarafından manuel olarak son kez kontrol edilerek yayınlanır.
- tavhane
- 1 yorum var
- 08 Ocak 2008 13:38
Ellerimizle büyüttüğümüz bildirgec.org sitemizi SEO acisindan analiz eden bu haberde, bildirgec.org 'un arama motorlarındaki ek sonuçları (supplemental index) ve robots.txt dosyası için ipuçları bulunuyor.
Ayrıca Google Resim arama sonuçları içindeki avatar sayısıda şaşırtıcı durumda.
- feverinlove
- 0 yorum var
- 27 Mayıs 2007 13:30
