
Merhaba sevgili arkadaşlar,
Pilli sisteminin performansını arttırmak üzere gerçekleştirdiğimiz veritabanı güncelleme çalışması 21 ağustos 2008 günü boyunca sosyomat ve pillinetwork sitelerinin kapalı kalmasına neden oldu. Problemi 24 saatte çözmeyi ve siteleri tekrar çalışır hale getirmeyi başardık. Kesinti nedeniyle sıkıntı verdiysek özür dileriz.
Eğer problemin detaylarını merak ediyor iseniz yazının geri kalanında sıkıcı teknik detaylara girmeden açıklamaya çalışacağım. dilerseniz okumaya devam edebilirsiniz.
detaylar
bir süredir pilli sisteminin uptime'ını (üzgünüm ama türkçesi yok, tam karşılamasa da "yayın süresi" diyebiliriz) %100'e mümkün olduğunda yaklaştırmak üzere çalışmalar yapıyoruz. hatta tatile çıkabilmek için kendimize koyduğumuz bir şart bulunuyor; 7 gün boyunca sitelerden hiçbiri bizim tabirimizle "devrilmemeli".
uptime takibi için pingdom'un ücretli hizmetini kullanıyoruz. ayrıca pingdom'un gönderdiği mesajı twitter ile tüm ekibin cep telefonlarına gönderiyoruz. böylece sitelerden birinde devrilme olduğunda hepimize sms geliyor (geliyordu, twitter amerika dışına sms'leri geçtiğimiz hafta kapattı) ve iki elimiz kanda olsa dahi koşuyoruz. ancak ne kadar çok sms, o kadar karın ağrısı demek. bu nedenle devrilmeleri azaltmak için elimizden gelen herşeyi yapmaya çalışıyoruz.
geçtiğimiz günlerde ulaştığımız bir bilgi, devrilmelerin kaynağının kullandığımız veritabanı sürümü olduğunu ortaya çıkarttı. bunun üzerine 19 ağustos'u 20 ağustos'e bağlayan gece, saat 04:00 ile sabah 08:00 arasına veritabanını güncelleme çalışması koyduk. pilli sistemini koşturan 4 adet veritabanı sunucusu güncellendi, gerekli kontrolleri yaptık ve sabah 8:30'da paydos ettik.
uyandığımızda kötü bir tablo ile karşılaştık. 20 ağustos günü boyunca siteler yavaştı ve bolca hata ile karşılaşmak mümkün oluyordu. hızlı bir karar ile 20 ağustos akşamı tüm işlemi baştan yapma kararı aldık.
Sunucuları tekrar kurmak, yedeklenen veriyi sunuculara yüklemek gibi evrelerde daha önceden yaşamadığımız problemlerle karşılaştık. Kurulum tamamlandığında performans düşüklüğü olduğunu farkettik ve tekrar başa döndük. Veritabanının büyüklüğü (17gb) işimizi zorlaştırdı. 21 Ağustos günü boyunca tüm sitelerimiz kapalı kaldı. 30 küsür saatlik nöbetleşe çalışma sonucunda sunucuları sağlıklı hale getirip yayına alabildik.
çalışma esnasında bize çok yardımı dokunan şu ve bu aracın yaratıcılarına teşekkürü bir borç biliriz.
bundan sonra- sunucuların performansları gözlemeye başlıyoruz. bu gözlem sonucunda operasyonun başarılı olup olmadığını göreceğiz.
- uptime konusunda olumlu bir gelişme kaydedebildik mi, tatile çıkabiliyor muyuz öğreneceğiz. (açığa çıkması için yaklaşık 3,5 gün izlemek gerekecek)
- güncellenen bileşenler diğer bileşenleri olumsuz etkiledi mi takip edeceğiz. bu süreç esnasında çatlayıp patlayan yerler görürseniz lütfen bize eposta yoluyla bildirin.
ayrıca, biliyorsunuz ki bir saatten uzun süren kesintiler olması durumunda yayında olan pilli ilan'lara bir gün yayın hediyesi yapıyoruz. bu kesinti nedeniyle dün ve bugün yayında olması gereken ilanlara 2'şer gün uzatma hediye edildi.
Problem esnasında herhangi bir veri kaybı yaşamadık.
Kesinti nedeniyle tekrar özür dileriz.
Bu olağanüstü hal esnasında hatırımızı soran, yardım teklif eden tüm arkadaşlarımıza çok teşekkür ederiz.
sonraki yazı » Yeni PDF arama motorunuz pdfgeni |
Yorumlar
geçmiş olsun, öğrenecek bir şeyler daha gerekiyormuş demekki
| pdfdergi | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 09:30 |
Daha iyi ve kaliteli hizmet için böyle şeyler normal... ellerinize sağlık. İnşallah bir problem çıkmaz İyi çalışmalar
| aedips | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 09:44 |
bence bu tamamen pillinin bilincaltini aciga vurmasi sonucu yasanmistir.
icten ice Internet Karartmayi destekledik yani :)
youtube, türkiye’de 109 gündür kapalı. türkiye’de erişimi engellenen site sayısı 853’e ulaştı. forum ve bloglarda yasağa tepkiler büyüyor. tepki için kendi sitelerini kapatanlar bile var
| yahyakemal | |
|
|
(0 puan) |
|
| 22 Ağustos 2008 09:45 |
yahyakemal farklı bir acıdan bakmıssın ama bu senın yorumun bence.
yenılemeye gelince, sureklı elim baglantılar tabındaki bildirgec yerimine gidiyordu, sankı baska gezecek sıte yok.
iyi varsın bildirgec.
| AntiHumanIST | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 09:57 |
hehe ben hal hatır etmiştim, yardımcı olmam imkansız olduğundan ancak bunu yapabildim dün :P
| ufopilotu | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 10:24 |
ya bendemi oldu bilmiyorum ama 3ayak da arama yaptıgımda tekrar yonlendirme sayfası otomatik yonlenmiyor anca ben tıklarsam diğer sitelerde duzgun calıstı ama
| akif87 | |
|
|
(0 puan) |
|
| 22 Ağustos 2008 10:25 |
bildirgece epey alıştığımı anladım. bu tadı veren başka site de yok sanırım.
| ercans | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 11:29 |
hepimize geçmiş olsun :)
şu iki gün içindeki can sıkıntımdan anladım bildirgeç'in değerini...
| sku | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 11:47 |
anlattigin surec genel olarak pilli'nin pillerini sarj etme sureci olarak yorumluyorum.
ve lakin bu charge process'inin bir yandan network kendi rutin akisini devam ettirirken yapilabilecek gunler de umarim yakindir.
genel olarak teknik detaylara merakli olan ve bu sebeble pilli network muhtevasindaki diger sitelerle birlikte bildirgec'i de takip eden ben gibi pilli uyeleri de tum bu detaylari eminim okumustur.
bu sebeble detaylari paylastigin icin tesekkurler.
ilave olarak ;
siteyi bookmark'imdan tikladigimda daha zeki,cevik,ve ayni zaman da "hizli" acildigini musahade ettim.
sanirim bu bahsettigin "devrilme" sonrasi gerekli gorup yerinde yaptiginiz mudahale sonucu pilli ag'da yasanan minik resurrection'in emaresi.
pilli ag'ddaki veriyi tekrar tekrar serverlara yuklemek zorunda kalmaniz anladigim kadari ile size en buyuk zaman kaybini yasatan ve bizleri de pilli den ayri dusuren etken olmus.
ozet olarak ;
yaptiklariniz ise yaramis.
sicak ve kizgin serverlardan serin sulara atlayarak tatilin tadini cikarin.
hs
| harb | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 12:29 |
bildirgeç daha hızlı ve sorunsuz açılıyor gibi geldi bana, yaptıklarınız işe yaramış gibi.
| pasacocugu | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 12:35 |
hiz konusu gercekten takdire sayan.
su anda super hizli aciliyor bizim koyde de :)
| yahyakemal | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 12:55 |
geçmiş olsun ...
17 gb toplam dosyalar ile database büyüklüğümü yoksa sadece databasemi acaba?
| cxc | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 13:14 |
Tekrar hoşgelmiş Pilli ve Bildirgeç. İlk defa bu kadar uzun kapanmaya şahit olduğum için şaşırmıştım. Yine de saydığınız işlere göre kısa sürede büyük bir badireyi atlatmış gibi görünüyorsunuz. Hayırlı olsun. Eliniz modifiye işlerine değmişken Bildirgeç'in yenilenmesine veya biraz daha geliştirilmesine ne dersiniz sayın aftermath? Mesela pisho arkadaşımızın soru olarak açtığı şu konuda biz üyelerin dile getirdiği temennileri de inceleyip daha detaylı hale getirmek iyi olmaz mı sizce de?
| positive | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 14:06 |
Pilli ailesine geçmiş olsun. Açık kaynak kodlu yazılımların ne derecede başarılı olduğunu bir kez daha gördük. Pilli'ye yardımcı olan iki yazılımda açık kaynak kodlu veri tabanı yönetim araçları.
maatkit
SLUG
| egitimist | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 14:22 |
Büyük geçmiş olsun, ne kadar laf etsek şöyle böyle desekte burası bizim herşeyimiz. Tekrar geçmiş olsun Pilli ve Bildirgec...
| webthese_w3 | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 14:25 |
olur gençlikteeee... ! :))))
| gunesedogru | |
|
|
(0 puan) |
|
| 22 Ağustos 2008 14:54 |
öyle bir duyurmuştunuz ki, sanki site 10 dakika sonra açılacak. yahu koca iki gün kapalı kaldı. daha açıklayıcı bir duyuru yapabilirdiniz. kullanıcılara biraz saygı lütfen. nasılsa bedava hizmet veriyoruz, nasılsa 10 gün kapalı kalsak bile açılınca bize teşekkür edecekler, nasılsa ziyaretçiler çantada keklik diye düşünüyorsanız, ayıp ediyorsunuz. yayıncılık felsefesini biraz daha özümsemeniz gerek.
| nenedennasilniye | |
|
|
(0 puan) |
|
| 22 Ağustos 2008 14:57 |
benim merak ettigim $ey, rails'in iyi scale etmemesi fikrinizi degi$tirdiniz mi?
| dni | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 15:55 |
geçmiş olsun.. umarım erken uyarı sistemleri hep aktif olur ve tekrar aynı süreci yaşamayız (:
ayrıca positive'in hatırlattığı şu önermeler silsilesini hiç düşündünüz mü pilli ekibi?
| pisho | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 16:44 |
sonunda açıldı yaa süper :)
| Eggdrop | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 17:10 |
bu tarafta, suyun altında bir süre nefes tutmaya benziyordu beklemek!
oralarda (tüm pilli ofislerinde), size de geçmişler olsun! üç kez üstüste problem çözüm aşamasını pratik etmek sinirlerinizi bayağı zorlamıştır, haliyle... yaz bitmeden bir tatil iyi gelir.
neyse, yeniden nefes alıyor olmak güzel! eksik olmayın.
| pilli pati | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 17:22 |
17gb SQL verisi içinde işlem yapmaya çalışmak işkence gibi olabilir. umarım sorunlarınızı büyük oranda halledebilmişsinizdir...
| rockipsiz | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 17:25 |
ben kesintinin oldugu gun tatildeydim :) guzel bir gun secmisim, yoksa ne yapardim pili bitik internette.
| yenidem | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 18:19 |
hımm... oysa ben acaba kim saldırdı diye düşünüyordum... hımm
| biSGen | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 18:52 |
kullanmasını bilen biri de bu araçlarla ilgili ayrıntılı bir bildiri yazsa ne güzel olur.
| guldemgokalp | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 19:29 |
bende acaba türktelekom içinde zararlı bir içerik bulduda bildirgeci ihtarnamemi verdi diye düşünüyordum ama mahkeme kararı yoktu ortada gerçektende alışkanlı yapmış bendede bu site 1 gün girmesem tüm geçmiş haberlerine bakıyorum.
| martraks | |
|
|
(0 puan) |
|
| 22 Ağustos 2008 20:51 |
geçmiş olsun
bi sorun olduğu belliydi zaten
fazlasıyla uzun sürdü : )
| sahip34 | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 21:05 |
yorum bırakan herkese çok teşekkür ederiz. sonucun şimdilik olumlu görünmesi ve sözleriniz yorgunluğumuzu hafifletti.
positive: listeyi tekrar gündeme getirdiğin iyi oldu. bu gibi öneriler oldukça yararlı oluyor. özellikle bildirgeç kitlesi çok bilinçli. maddeleri basecamp'imize zaten okudukça ekliyoruz. bir kısmı yakında, bir kısmı ileriki sürümlerde hayata geçecek. bazılarını ise düşünememiştik bile. ayrıca torpilli.com forumlarındaki öneri bölümünü de kullanırsanız tümünü bir araya toplamak açısından işimizi kolaylaştırır. yazıya yorum yazmayı ihmal ettim ancak pisho'ya da hem yazıları hem de diğer katkıları için teşekkürler.
maatkit, çeşitli yararlı mysql aracını içeren bir kit. biliyorsunuz veritabanı sunucunuz 16 çekirdekli işlemciye sahip dahi olsa veritabanını export veya import etmek tek çekirdekle yapılıyor ve işlem uzun sürüyor. maatkit paralel export ve import ile bu işlemi kolaylaştırıyor. diğer araçları da oldukça kullanışlı.
slug'da bahsedilen yazılım ise kazara 20gb'lik dev bir sql dump dosyası yarattığınızda imdadınıza yetişiyor. dosyayı tablolara göre parçalamanızı ve veritabanı import işlemini paralel olarak yapmanızı sağlıyor.
harb'ın da tahmin ettiği gibi bize en çok vakit kaybettiren bu dev veritabanının sunuculara tekrar yüklenmesi ve bazı aksilikler yüzünden başa dönmek zorunda kalmamız.
tüm bunlar bizler için güzel bir öğrenme deneyimi oluyor. tabii bu deneyim esnasında kimsenin ulaşmak istediği sitelere giremeyip rahatsız olmasını istemezdik.
| aftermath | |
|
|
(2 puan) |
|
| 22 Ağustos 2008 23:00 |
pilli ve ailesi 'ni gururla izliyorum Türkiye'deki en iyi düşünülmüş sitelerden birisi. tebrikler. Allah pillimize zeval vermesin.
| myp | |
|
|
(1 puan) |
|
| 22 Ağustos 2008 23:39 |
bu kesinti sayesinde bildirgec.org'un hayatımda ne kadar önemi olduğunu bi kez daha anladım. Saatlerce boş boş gezindim durdum amaçsızca. Bilgisayarıma format atmıştım gerekli ayarlamaların hepsi burada bildirildiği için hiçbirini yapamadım. Elim ayağım bağlandı gerçekten. Umarım böyle bi sorun tekrar yaşanmaz. Tüm pilli.com ekibine geçmiş olsun
| Nodtveidt | |
|
|
(2 puan) |
|
| 23 Ağustos 2008 10:38 |
ne garip ; bir siteyi hayatın anlamı gibi görmek... şöyle bir durup düşünseniz oysa ... hayatta neler var ...piili ya da bir başkası olsa ne olur olmasa ne olur ... olaya tepeden bakın ... sakin olun...
| gunesedogru | |
|
|
(0 puan) |
|
| 23 Ağustos 2008 14:26 |
bir iş yapmadan önce kriz yönetimini nasıl yapacağım başımı en çok ağrıtan konulardan biridir hep. o yüzden riskli işleri pek yapmıyorum, veritabanı işlerini çok kurcalamak gibi. aslında pekte iş yapmıyorum o yüzden :P
| zee | |
|
|
(1 puan) |
|
| 25 Ağustos 2008 02:18 |
gece 2 de gateway hatası aldım aftermath? daha önceleride bazen oluyordu.. ama şimdi hız iyi
| pisho | |
|
|
(0 puan) |
|
| 25 Ağustos 2008 03:51 |
veritabanının büyüklüğü (17gb) peh pehh :D
sunuculardan bir kaç foto ekleyinde gözümüz sunucu görsün :P
| ergin53 | |
|
|
(3 puan) |
|
| 10 Ekim 2008 21:23 |
pillinetwork sitelerine yorum ekleyebilmek ve daha fazlası için, üye olun ya da giriş yapın.
İlgili Yazılar
- bildirgec.org açıldı (30)
- pilli para politikası (6)
- bildirgecimiz ve biz (0)
- hoşçakalın (5)
- işte bunu seviyorum (2)
- Tam bir yıl sonra ; (0)
- pilli = ? YTL (27)
- bildirgeç yorum kalitesizliği (36)
- Pilli Sitelerini Arama Motoru (2)
Bu Yazıyı Tutanlar
Beğendiğiniz bir yazıya "tuttum" demek için başlığın yanındaki yıldıza tıklayabilirsiniz.


