arabul | bildirgec.org

Tasarımı hoş olmuş ama hala bi arama motorunun nasıl olması gerektiği hakkında fikirleri yok.
Bi hosting yazıp aratın bir sürü sonuç üstelik preview leri de mevcut. Komplike bir kelime de ise "0" sonuç yani indexleme olayı felan yok.
Yahu insan düşünür biraz neyse yapacam sonunda bi motor o olacak :)

bu kadar açık database, xml vs. gibi kaynaklar varken bu işi sıkı yapan bir türk firması ya da sitesinin olmamasını anlayamıyorum zaten. hadi bizim yeterli ekipmanımız yok, neden başka birisi bu database'i değerlendirmek istemez hayret :)

Hocam çok doğru tamam oturduk indexing için bir bot yazdık ok. İndexlememizi yapıyoruz ok de bunun için harbi sağlam sunucu lazım bu kişisel başından kalkılacak bir iş değil. Ama bu işi yapacak sermeyesi olan çoook şirket var ama belki de google ın üstünlüğüne boyun eğmişlerdir. Ama inanıyorumki iyi bir Türk arama motoru google a yaklaşabilir.

firefox' da bir bakın, dağılıyor site ...
kusura bakmasınlar ...

"yemişim firefox'u"
- bir türk atasözü
:)

firefox'dan haberi olmayan arama motorunu yemek lazım aslında.

bence iyi deneme.... güzel olmamış ama uğraşmışlar en azından..

ama olmamış derim ben...

bildirgec ahalisine "şöyle bir şey yaptım buyrun bakın" demeye korkuyorum. Ben de bu ahalidenim ve ben de benzer tavırlar sergiliyorum ama biraz acımasız davranmıyor muyuz sanki?

Bu işler boyle guzelim. Güzel domainleri var. Haklarını vermeleri gerek bence. Yavaş yavaş gelişim göstermek gerek. Bir sürü link, bölüm, köşe vs var. Zaten çoğu da düzgün çalışmıyor. önce bir text box bide submit buton koy oraya yeter. Eğer o başarılı olursa devamını getirirsin.

eleştiriye açık olanlar, ilk başta kaybediyor gibi gözükseler de, her zaman kazanır. Eleştirinin acımasızı veya yumuşağı olmaz. Beğendiğin zaman da beğenmediğin zaman da fikirlerini belirtmezsen, ya da yumuşatırsan, karşındakine kötülük yapmış olursun.

sizleri suraya aliyim arkadaslar.
6.500.000 milyon sayfa indexledim.
Bunlarin hepsi yalnizca turkce sayfalardir.
200.000 civarinda domain indexledim.
(Arabul'da ise tahminim 30.000-50.000 arasi link var.)
35-50 haber rss'ini, 2000 in uzerindeki blog rss'ini her gun (1/2 - 3 saat siklik ile )takib ediyorum.
Robotlarim gunde 50.000 sayfa 300 domain geziyorlar.
su arama taginizi bir arayin bakalim bu yaziyi bulabiliyormusunuz?
bildirgec'i buradan -google- da bir arayin bakalim.
google-bildirgec kac sonuc buluyorsunuz.
bu da aramanet-bildirgec
Acaba bir site baktigimizda nasil calistigini az veya cok tahmin edebiliyormuyuz?
Yoksa yalnizca html ine /nasil gorundugune mi bakiyoruz? :)

yazdığın bilgilere göre işlevsel olarak arabul'dan daha iyi bir durumda senin arama motorun. ama tasarımda biraz düzgün birşey olsa hani iyi olacakda. :)

ruyalarima giren olayi daha once yazmistim.:)
Verdigim rakamlar dogrudur.
Bir de arama motoru ile arama dizini kavramlarini karistirmamak lazim. Arabul bir dizin. Aramanet ise bir arama motoru.
Arabul'da biraz detayli bir arama yapin bakalim. Kolay kolay bir sey bulamazsiniz.
Neden? Icerikte aramiyor cunku.
deki 50.000 link leri var. her link 300-500 kelime ile iliskilendiriliyor. Dolayisi ile arama yaptigin veri cok kucuk.
Aramanet ise sayfanin iceriginde(ve diger bolumlerinde) ariyor. (o bahsettigim 6.5 milyon sayfa ise yaklasik 6 gig lik bir dosya yaratmis durumda su an icin)
Fark ne? tabiki veri farki. Aramanet in bir gunde gezip indexledigi ve aranabilir kildigi sayfa sayisi ve text olarak yogunlugu, arabul'un tum verilerinden daha fazladir tahminim.
iki adet 4 gb ram dell(4 scsi ile) ve 2gig lik bir server(robot icin) ile ancak bas edebiliyorum elimdeki data ile.

Turkiye'de bu sekilde (yani google gibi) calisan pek fazla arama motoru yoktur (arama.com ise benim bahsettigim tarzda bir arama motorudur ornegin).
Olanlar icinde ise arabul'un olmamasi gerekir.(bir dizin'dir cunku)
Bir de soylemeden gecemeyecegim:
Zaman zaman google blog arama motoruna bakiyorum, aramanet (yalnizca turkce bloglari dolastigi icin tabiki :) ) deki tag aramasi cok daha guncel. Yani o yukaridaki ornegi kastediyorum. Aramanet cok daha guncel bir sekilde takib ediyor rss/atom leri.:)

sitenize blogumu eklemeye çalışırken türkçe:false diyor, merak ettim nasıl türkçe olup olmadığını anlamaya çalıştığını.

adres: http://blog.otostopcu.org

bende merak edip girdim sitenizi.
Herhalde bir refreshing olayi var orada.
o adres http://www.otostopcu.org/blog/' a gidiyor once , aramanet 'de www.otostopcu.org'dan basliyor taramaya.

Turkce nasil mi?
once url ine bakiyoruz.'.tr' var ise turkcedir.
charset lerine bakiyoruz sayet turkce degil ise. iso8859-9 veya windows-1254 ise eyvallah, sayfa turkcedir.
o da turce degil ise veya utf-8 ise sayfadaki metini cikariyoruz ve dilbul programina gonderiyoruz.
Sayet metin turkce ise site turkce'dir diyoruz.
bir halka daha ekleyecegim yakinda
o da ip->ulke. Yani sayet domain ip turkiye'den ise sayfa turkcedir (veya buyuk bir ihtimalle turkcedir) deyip tarayacagim siteyi.

harbiden türkçe:false yazıyor. Acaba UTF-8'i görünce mi öyle yapti? Bi de sayfaları indexletmek için tek tek tıklatmak şart mı? Önce biten sayfa sayısı 9'du. Bi daha tıkladım. 0 yazdı. Anlamadım nasıl oluyo?

Ama yine de tebrikler. Arabuldan daha iyi gibi görünüyor. Gelişmeye ihtiyacı var ama doğru yoldasın.

Arama listeleme sayfası üzerinde daha çok yoğunlaşmanı tavsiye ederim.

yahu şu aramalar bölümüne göz attım da. bizim millet harbiden..... Ne kadar lüzumsuz şey var aramışlar. Birisi de tutorial, ders, teknoloji nasıl bilmem ne yapılır aratsın yahu. olmaz böyle şey!!

yok be abicigim. tek tek olurmu?
Sen url ini girince bir adet robot senin sitenin ana sayfasindan basliyor. Sonra buldugu tum linklerden diger sayfalarini geziyor. (su an yanilmiyorsam 10 sn bir ziyaret/site seklinde calisiyor).

tiklamana gerek yoktu :)
turkce : false benim hatam. robot basliyor, default olarak turkce false koyuyor -baslangic-bilmiyoruz tabiki-.(sonra da o degeri, robot isini bitirene kadar degistirmiyorum - yalnis orada :) ).
bitince sayfa sayisini sifir gostermesi ise ciddi bir hata, yaklasik bir ay once database'i degistirmistim. yalnis database'e gidip bakiyordu benin hasba programim. O bolumu duzelttim. Ama o turkish:false bir iki satir degistirmek ile olacak sey degil. Biraz bekliyecek yani. :(
Bak makinam.blogspot.com'u utf-8 olarak olmasina ve .tr olmamasina ragmen icerigindeki metinden turkce oldugu kararini gayet guzel vermis:) (dogru calisan bir bolumude varmis)

ap, blog arama motorundan kendimi arattım, sonuçlardan çok memnun kaldım. tebrik ediyorum, bundan böyle sık sık danışıcam. peki mesela robotların ne sıklıkta blogları indexliyor? ben yeni yazı yazdığımda ne zaman sonuçlarda çıkarım?

ehh bir çok kendini bilmez insan gibi kendimi aradım arama(nokta)net adresinde. çekirge olarak aradığımda bulamadım kendimi. pek te türkçe değilmişim demek! bir de cekirge'de denedim şansımı. sonuçların ilk on sayfasında bana link veren en az 20 site ile üye olduğum ondan fazla siteye ulaştım ama yok, bulamadım kendimi..
yine ne varsa google' da var diyorum.

mesela ben aramanet'e bet3'ü ara dediğimde o bana bet'i arıyor, ilginç.

bloglar bolumunde bet3 arasaydiniz...:)

cekirge de birseyler verirdi ayni bolumde tahminim...

Guncelleme ile ilgili olarak bazi problemlerimiz var:
normal aramalar (tag olmayan aramalar) icin calisan robot -normal sartlar altinda- surekli olarak calismali ve yeni sayfalar surekli olarak aranabilir hale getirilmek uzere design edildi. Her blog sitesi uc gunde bir ziyaret edilip yeni sayfalar eklenecek seklinde. Ve updateler ise her hafta sonu eklenecek idi. Ama bu updateler uzun bir zamandir (yaklasik uc ay oldu tahminim) yapilmadi. Robot ise 4 haftadir calismiyor. (Su an icin tum universiteleri indexlemek ile mesgul -iki robot tam kapasite ile calistiginda ram canavari olup, blog ve haber aramalarini yavaslatiyor)
Dolayisi ile o islem benim biraz vakit ayirmami bekliyor:(
Ama tag aramalarinda ise belirli bir guncelleme vardir. rss ve atomlardan tag/icerik cikarmak normal robot islemine gore cok kolay ve zahmetsiz. En azindan ugrasilan veri cok az.-O yuzden technorati yi biraz ucuzcu bulup, teknolojinin sanki son harikasiymis gibi begenilmesine de cok sasirmistim-)
Dolayisi ile tag guncellemeleri uc saat icerisinde yapiliyor (2000 civarinda blog sitesinden).
mesela bu sayfa tamami ile degerlerini veri tabanindan alip gosteriyor.

olayın blog ile alakası yok. bloglar kısmında da bet3 diye aratınca "bet" sonuçları çıkıyor. bu televizyon diye aratıp "tele" sonuçlarının çıkması kadar anlamsız.

o kadarda degil !
Aramanet rakamlari 'discard' eder. Yani rakamlar indexlenmez.
dolayili ile 'bet1234243' veya '2005 yili' gibi aramalarda 'bet' vey 'yili' aranacaktir.
rakamlar pek aranan seyler degil.
indexlenmese de olur.
gerekli gorur isem degistiririm.
ama su an icin oyle bir gereklilik gormuyorum.

iyi o zaman, size rakamsız hayatınızda başarılar diliyorum :)

rakamlar önemli birşey bence. biryerlere getirilmek isteniyorsa en azından. çoğu zamanlar insanlar arama motorunu posta kodu, telefon gibi sayısal sorgulamalar için de kullanıyor zira.

keza "xxx 2005 yılı verileri" de buna dahil.

arama motorunun en başta sağlaması gereken şey, doğru sonucu en az tıklamayla getirmesi olmalı. beni "xxx yılı verileri" diye bir aramaya yönlendiriyorsa ne yazık ki sonuca ulaşmamı da sağlamayacaktır veya çok dolaylı yoldan sağlayacaktır.

rakamlari indexleyip indelememek arama motoru dizaynerlari arasinda cok sikca tartisilmis bir konudur. rakamlar kullanilarak yapilan aramalar tum arama motorlarinda cok dusuk bir duzey de oldugundan 'dizaynerlarin bagzilari' rakamlari indexlemenin gerekliligini, on iki parmak bagirsaginin insan vucuduna olan gerekliligi gibi gorup indexlememe karari almistir.:)
Bende ayni gorusteyim.
olay milyonlarca rakami indexleyip bunlarin yuzde 99 unun aranmamasi olayi.
elindeki kaynaklar/kapasiten/ rakmalari indexlersen ne kadar kaynak kullanirsin/indexlemezsen ne kullanirsin (ornegin rakamlari indexlemezsen tahminim yaklasik bir milyon daha web sayfasi ekleyebilirim ayni kaynak ile) turunden sorulara cevap vermen ve ona gore bir karar vermen gerekiyor son asamada.
En nihayetinde elimiz de google gibi tonlarca makina yok :)

aramanet'i bildirgeçte gördüğümüz ilk günden beri takip ediyoruz. ap'nin kodlama bilgisi aramanet'i ilk günlerine göre oldukça geliştirdi. rss'den çekilen başlıkları yayımladığı sayfa, sadece türkçe bloglarda arama ve sonuç sayfalarına koyulan ücretsiz reklamlar gibi güzel hizmetler de sundu.

ama sayıları göz ardı etmesi, genel olarak interface ve informasyon hataları ve bu database'i diğer kullanıcılar ile paylaşacak küçük eklentileri eklememesi veya tanıtmaması her aramanet konuşulduğunda bir eksi puan olarak bahsediliyor.

ben istiyorum ki aramanet bu yorumların sonucunda verilen bir takım kararları gözden geçirsin ve site-lerimiz-de kullanacağımız ayrıcalıklı bir arama motoru olsun.

(hıdrellez'de geçti ama bu dileğimi lütfen geçerli sayın :)

ne kadar agrasif bir yaklaşım!?
bu siteyi (arama motorunu) yapmaktaki maksat nedir? ben yaptım oldu demek mi?

ayrıca aradığım adres bir blog değil, güncedir. aradaki farkı anlatmama gerek var mı?

Sevgili cekirge, kesinlikle agrasif bir yaklasimda bulunmayi aklimdan gecirmemistim.
Sayet oyle bir agrasiflik var ise sana gore, gercekten ozur dilerim.

yazdiklarimin neresinin agrasif oldugunu ise halen anlamis degilim.

blog/gunce? farki bilmiyorum acikcasi. Bir kaynak gosterir isen okuyacagima soz veriyorum.

rakamlar elbette önemlidir ancak ap'nin yazdıklarından benim anladığım, rakamlar kelimelere göre daha az arandığı için, henüz kelimeleri bitirmemişken rakamlara geçmenin anlamsız olacağı, ki bu bana gayet mantıklı geliyor. ileride, plush'ın da dediği gibi, ap eleştirileri göz önünde bulunduracaktır elbet.

kendi sitemi ekleyeyim dedim 5 saniye geçmedi. indexine 200 küsür sayfa eklemiş. bu hızın sebebi anasayfada bulunan rss linki midir acaba? ya da google sitemap için bir xml hedesi de mevcut, lakin sitemap ile ilgili herhangi bir link sayfada bulunmamakta. onu çekip çıkarıp mı indexledi?

zira aklım almıyor. 50 sayfalık film arşivinin 50 sayfasını da bir anda adreslerini indexlemiş. anlamadım gitti :)

tabi keyword kısımları boştu hepsinin. tıpkı pilli network gibi drupal altyapısını kullanıyorum ben de. haliyle keywordleri de alması gerekmez miydi?

elestiriler goz onunde bulundurulmaz mi? tabiki bulundurulacaktir.
Ozellikle elestirilerin sizlerden gelmesi cok daha anlamli benim icin.
Gonul isterdiki tum elestirilere aninda cozum bulmaya calisayim. Ama ciddi bir zaman problemim var :(. Dolayisi ile biraz zaman alacaktir cozumler.

@hecatomber, buyuk bir ihtimalle siten daha once indexlenmistir. Keske baslangic tarihine baksaydin.
Buyuk bir ihtimalle siteni daha once taradigimizda keyword leri bulamamisizdir -buyuk bir ihtimalle guncelleme bitmistir ve keywordlerde oradadir-. Robot, bir site daha once gezildi ise, kac sayfa oldugunu, neler oldugunu falan veritabanindan alip gosteriyor ve ondan sonra guncellemeye basliyor-site onceden gezilmis ise-. Robot her gezilen site/sayfa dan sonra 14-15 sn bekleyecektir diger sayfaya baslamadan once(aksi halde 'hacking' e girer yapilan : ) ). Oyle girer girmez 50 sayfayi indexleyemeyiz yani. keske 10 sn'de 50 sayfa tarayabilsek :) .