Tam o sırada, başka bir pillinetwork sitesi olan kodaman.org'da: "MySQL İle Memcache Kullanımı"


\

Merhaba sevgili arkadaşlar,
Pilli sisteminin performansını arttırmak üzere gerçekleştirdiğimiz veritabanı güncelleme çalışması 21 ağustos 2008 günü boyunca sosyomat ve pillinetwork sitelerinin kapalı kalmasına neden oldu. Problemi 24 saatte çözmeyi ve siteleri tekrar çalışır hale getirmeyi başardık. Kesinti nedeniyle sıkıntı verdiysek özür dileriz.

Eğer problemin detaylarını merak ediyor iseniz yazının geri kalanında sıkıcı teknik detaylara girmeden açıklamaya çalışacağım. dilerseniz okumaya devam edebilirsiniz.

detaylar
bir süredir pilli sisteminin uptime'ını (üzgünüm ama türkçesi yok, tam karşılamasa da "yayın süresi" diyebiliriz) %100'e mümkün olduğunda yaklaştırmak üzere çalışmalar yapıyoruz. hatta tatile çıkabilmek için kendimize koyduğumuz bir şart bulunuyor; 7 gün boyunca sitelerden hiçbiri bizim tabirimizle "devrilmemeli".

uptime takibi için pingdom'un ücretli hizmetini kullanıyoruz. ayrıca pingdom'un gönderdiği mesajı twitter ile tüm ekibin cep telefonlarına gönderiyoruz. böylece sitelerden birinde devrilme olduğunda hepimize sms geliyor (geliyordu, twitter amerika dışına sms'leri geçtiğimiz hafta kapattı) ve iki elimiz kanda olsa dahi koşuyoruz. ancak ne kadar çok sms, o kadar karın ağrısı demek. bu nedenle devrilmeleri azaltmak için elimizden gelen herşeyi yapmaya çalışıyoruz.

geçtiğimiz günlerde ulaştığımız bir bilgi, devrilmelerin kaynağının kullandığımız veritabanı sürümü olduğunu ortaya çıkarttı. bunun üzerine 19 ağustos'u 20 ağustos'e bağlayan gece, saat 04:00 ile sabah 08:00 arasına veritabanını güncelleme çalışması koyduk. pilli sistemini koşturan 4 adet veritabanı sunucusu güncellendi, gerekli kontrolleri yaptık ve sabah 8:30'da paydos ettik.

uyandığımızda kötü bir tablo ile karşılaştık. 20 ağustos günü boyunca siteler yavaştı ve bolca hata ile karşılaşmak mümkün oluyordu. hızlı bir karar ile 20 ağustos akşamı tüm işlemi baştan yapma kararı aldık.

Sunucuları tekrar kurmak, yedeklenen veriyi sunuculara yüklemek gibi evrelerde daha önceden yaşamadığımız problemlerle karşılaştık. Kurulum tamamlandığında performans düşüklüğü olduğunu farkettik ve tekrar başa döndük. Veritabanının büyüklüğü (17gb) işimizi zorlaştırdı. 21 Ağustos günü boyunca tüm sitelerimiz kapalı kaldı. 30 küsür saatlik nöbetleşe çalışma sonucunda sunucuları sağlıklı hale getirip yayına alabildik.

çalışma esnasında bize çok yardımı dokunan şu ve bu aracın yaratıcılarına teşekkürü bir borç biliriz.

bundan sonra
  • sunucuların performansları gözlemeye başlıyoruz. bu gözlem sonucunda operasyonun başarılı olup olmadığını göreceğiz.
  • uptime konusunda olumlu bir gelişme kaydedebildik mi, tatile çıkabiliyor muyuz öğreneceğiz. (açığa çıkması için yaklaşık 3,5 gün izlemek gerekecek)
  • güncellenen bileşenler diğer bileşenleri olumsuz etkiledi mi takip edeceğiz. bu süreç esnasında çatlayıp patlayan yerler görürseniz lütfen bize eposta yoluyla bildirin.

ayrıca, biliyorsunuz ki bir saatten uzun süren kesintiler olması durumunda yayında olan pilli ilan'lara bir gün yayın hediyesi yapıyoruz. bu kesinti nedeniyle dün ve bugün yayında olması gereken ilanlara 2'şer gün uzatma hediye edildi.

Problem esnasında herhangi bir veri kaybı yaşamadık.

Kesinti nedeniyle tekrar özür dileriz.

Bu olağanüstü hal esnasında hatırımızı soran, yardım teklif eden tüm arkadaşlarımıza çok teşekkür ederiz.


 | 45 yorum var 
 | 22 Ağustos 2008 08:00 

Yorumlar

pillimize kavuştuk ya , çok şükür :))

"i'm not young enough to know everything."
exorientelux |  (2 puan) 22 Ağustos 2008 08:42

geçmiş olsun

minikellicadi frodo still lives
frodolives |  (2 puan) 22 Ağustos 2008 08:42

Olur boyle seyler :) Gecmis olsun...

illuzyonist |  (2 puan) 22 Ağustos 2008 08:45

ne diyelim, gözümüz aydın :)

scraby |  (2 puan) 22 Ağustos 2008 09:08

geçmiş olsun, öğrenecek bir şeyler daha gerekiyormuş demekki

pdfdergi |  (2 puan) 22 Ağustos 2008 09:30

Daha iyi ve kaliteli hizmet için böyle şeyler normal... ellerinize sağlık. İnşallah bir problem çıkmaz İyi çalışmalar

aedips |  (2 puan) 22 Ağustos 2008 09:44

bence bu tamamen pillinin bilincaltini aciga vurmasi sonucu yasanmistir.
icten ice Internet Karartmayi destekledik yani :)

youtube, türkiye’de 109 gündür kapalı. türkiye’de erişimi engellenen site sayısı 853’e ulaştı. forum ve bloglarda yasağa tepkiler büyüyor. tepki için kendi sitelerini kapatanlar bile var

yahyakemal |  (0 puan) 22 Ağustos 2008 09:45

geçmiş olsun hocam

hackworm |  (2 puan) 22 Ağustos 2008 09:48

yahyakemal farklı bir acıdan bakmıssın ama bu senın yorumun bence.

yenılemeye gelince, sureklı elim baglantılar tabındaki bildirgec yerimine gidiyordu, sankı baska gezecek sıte yok.

iyi varsın bildirgec.

Cinnetin cennetinde cilvelenmek cesareti
AntiHumanIST |  (1 puan) 22 Ağustos 2008 09:57

Geçmiş olsun...

chsn1 |  (2 puan) 22 Ağustos 2008 10:19

hehe ben hal hatır etmiştim, yardımcı olmam imkansız olduğundan ancak bunu yapabildim dün :P

Do you know the relation between your two eyes? They blink together, they move together, they cry together, They see things together and they sleep together. Even though they never see each other.... Friendship should be just like that!
ufopilotu |  (2 puan) 22 Ağustos 2008 10:24

ya bendemi oldu bilmiyorum ama 3ayak da arama yaptıgımda tekrar yonlendirme sayfası otomatik yonlenmiyor anca ben tıklarsam diğer sitelerde duzgun calıstı ama

akif87.spaces.live.com
akif87 |  (0 puan) 22 Ağustos 2008 10:25

bildirgece epey alıştığımı anladım. bu tadı veren başka site de yok sanırım.

ercans |  (2 puan) 22 Ağustos 2008 11:29

hepimize geçmiş olsun :)
şu iki gün içindeki can sıkıntımdan anladım bildirgeç'in değerini...

sku |  (2 puan) 22 Ağustos 2008 11:47

anlattigin surec genel olarak pilli'nin pillerini sarj etme sureci olarak yorumluyorum.
ve lakin bu charge process'inin bir yandan network kendi rutin akisini devam ettirirken yapilabilecek gunler de umarim yakindir.
genel olarak teknik detaylara merakli olan ve bu sebeble pilli network muhtevasindaki diger sitelerle birlikte bildirgec'i de takip eden ben gibi pilli uyeleri de tum bu detaylari eminim okumustur.
bu sebeble detaylari paylastigin icin tesekkurler.
ilave olarak ;
siteyi bookmark'imdan tikladigimda daha zeki,cevik,ve ayni zaman da "hizli" acildigini musahade ettim.
sanirim bu bahsettigin "devrilme" sonrasi gerekli gorup yerinde yaptiginiz mudahale sonucu pilli ag'da yasanan minik resurrection'in emaresi.
pilli ag'ddaki veriyi tekrar tekrar serverlara yuklemek zorunda kalmaniz anladigim kadari ile size en buyuk zaman kaybini yasatan ve bizleri de pilli den ayri dusuren etken olmus.
ozet olarak ;
yaptiklariniz ise yaramis.
sicak ve kizgin serverlardan serin sulara atlayarak tatilin tadini cikarin.
hs

citius~altius~fortius
harb |  (1 puan) 22 Ağustos 2008 12:29

bildirgeç daha hızlı ve sorunsuz açılıyor gibi geldi bana, yaptıklarınız işe yaramış gibi.

Öldürmeyen darbe diriltir! paşaçocuğu blog
pasacocugu |  (1 puan) 22 Ağustos 2008 12:35

hiz konusu gercekten takdire sayan.
su anda super hizli aciliyor bizim koyde de :)

yahyakemal |  (1 puan) 22 Ağustos 2008 12:55

dün bütün gün bir eksiklik vardı hayatımda :)

Gwain |  (0 puan) 22 Ağustos 2008 13:00

çok şükür bildirgeç 'e kavuştuk :)

href="http://www.buzla.com/uye/yamanbox" rel="nofollow">buzla
yaman53 |  (1 puan) 22 Ağustos 2008 13:04

geçmiş olsun ...

17 gb toplam dosyalar ile database büyüklüğümü yoksa sadece databasemi acaba?

cxc |  (1 puan) 22 Ağustos 2008 13:14

Tekrar hoşgelmiş Pilli ve Bildirgeç. İlk defa bu kadar uzun kapanmaya şahit olduğum için şaşırmıştım. Yine de saydığınız işlere göre kısa sürede büyük bir badireyi atlatmış gibi görünüyorsunuz. Hayırlı olsun. Eliniz modifiye işlerine değmişken Bildirgeç'in yenilenmesine veya biraz daha geliştirilmesine ne dersiniz sayın aftermath? Mesela pisho arkadaşımızın soru olarak açtığı şu konuda biz üyelerin dile getirdiği temennileri de inceleyip daha detaylı hale getirmek iyi olmaz mı sizce de?

positive |  (2 puan) 22 Ağustos 2008 14:06

Pilli ailesine geçmiş olsun. Açık kaynak kodlu yazılımların ne derecede başarılı olduğunu bir kez daha gördük. Pilli'ye yardımcı olan iki yazılımda açık kaynak kodlu veri tabanı yönetim araçları.
maatkit
SLUG

"En iyi nasihat; iyi örnek olmaktır."
egitimist |  (1 puan) 22 Ağustos 2008 14:22

Büyük geçmiş olsun, ne kadar laf etsek şöyle böyle desekte burası bizim herşeyimiz. Tekrar geçmiş olsun Pilli ve Bildirgec...

webthese_w3 |  (1 puan) 22 Ağustos 2008 14:25

olur gençlikteeee... ! :))))

sonsuzbilgi.blogcu.com
gunesedogru |  (0 puan) 22 Ağustos 2008 14:54

öyle bir duyurmuştunuz ki, sanki site 10 dakika sonra açılacak. yahu koca iki gün kapalı kaldı. daha açıklayıcı bir duyuru yapabilirdiniz. kullanıcılara biraz saygı lütfen. nasılsa bedava hizmet veriyoruz, nasılsa 10 gün kapalı kalsak bile açılınca bize teşekkür edecekler, nasılsa ziyaretçiler çantada keklik diye düşünüyorsanız, ayıp ediyorsunuz. yayıncılık felsefesini biraz daha özümsemeniz gerek.

nenedennasilniye |  (0 puan) 22 Ağustos 2008 14:57

şükür kavuşturana...

GOOZ LIVE | çt en iyi 11 : 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
gooz |  (1 puan) 22 Ağustos 2008 15:49

benim merak ettigim $ey, rails'in iyi scale etmemesi fikrinizi degi$tirdiniz mi?

dni |  (1 puan) 22 Ağustos 2008 15:55

geçmiş olsun.. umarım erken uyarı sistemleri hep aktif olur ve tekrar aynı süreci yaşamayız (:

ayrıca positive'in hatırlattığı şu önermeler silsilesini hiç düşündünüz mü pilli ekibi?

pisho |  (1 puan) 22 Ağustos 2008 16:44

sonunda açıldı yaa süper :)

notmot.com : okunduktan sonra kendini imha eden notlar
Eggdrop |  (1 puan) 22 Ağustos 2008 17:10

bu tarafta, suyun altında bir süre nefes tutmaya benziyordu beklemek!

oralarda (tüm pilli ofislerinde), size de geçmişler olsun! üç kez üstüste problem çözüm aşamasını pratik etmek sinirlerinizi bayağı zorlamıştır, haliyle... yaz bitmeden bir tatil iyi gelir.

neyse, yeniden nefes alıyor olmak güzel! eksik olmayın.

pilli pati |  (1 puan) 22 Ağustos 2008 17:22

17gb SQL verisi içinde işlem yapmaya çalışmak işkence gibi olabilir. umarım sorunlarınızı büyük oranda halledebilmişsinizdir...

rockipsiz |  (1 puan) 22 Ağustos 2008 17:25

ben kesintinin oldugu gun tatildeydim :) guzel bir gun secmisim, yoksa ne yapardim pili bitik internette.

yenidem |  (1 puan) 22 Ağustos 2008 18:19

hımm... oysa ben acaba kim saldırdı diye düşünüyordum... hımm

biSGen--bLoGSPot NON-SCHOLA-SED-VITA-DISKUMUS !
biSGen |