Fun With Docker..ELK Stack- ElasticSearch

Herkese Merhaba,

Fun with Docker yazı serisine ELK Stack kurulumunu aktaracak, yazı dizisi içerisinde yeni bir yazı dizisiyle devam etmeye karar verdim.

Bilmeyenler için ELK, 3 ayrı open source proje olan Elasticsearch, Logstash ve Kibana projelerinin birleşiminden oluşan yine open source olarak kullanıma sunulan ve bakımı Elastic tarafından  yürütülen bir proje.

Bu arada ELK Stack ile ilgili tüm detaylara https://www.elastic.co/elk-stack linkini kullanarak ulaşabilirsiniz. 

Peki biz yazı dizisi sırasında ELK Stack ile neler yapmaya çalışacağız?

Docker hostumuz (Windows 10) üzerinde File Beat kurarak, IIS Loglarını toparlayacağız. Topladığımız bu IIS loglarını container üzerinde koşan LogStash'e gönderecek ve LogStash üzerinde yaptığımız konfigürasyonlarla parse operasyonunu tamamlayıp, oluşan anlamlı datayı yine container üzeride koşan ElasticSearch 'e insert edeceğiz. Insert ettiğimiz tüm bu log datasını ise yine container imajı olarak ayağa kaldırıp, konfigürasyonunu yaptığımız Kibana ile görüntüleyeceğiz. 

Yazı dizisi tamamlandığında, docker açısından önemli challangelardan bir tanesi olarak karşımıza çıkabilecek containerlar arasındaki network iletişimi ve sytem adminler açısından büyük bir challange olan log toplama ve raporlama konularını containerlar üzerinde ELK sistemi ayağa kaldırarak bir çözüme kavuşturmuş olacağız. Umarım elime yüzüme bulaştırmadan çalışan bir sistem kurabilirim:)

Yazının ilk bölümüne tüm projenin ve yazı dizimizin depend ettiği ElasticSearch kurulumu ile başlayacağız. 

Herşeye başlamadan önce Docker for Windows ile yeni tanışıyorsanız, community (ce) edition ‘ı download ederek bilgisayarımıza kurmamız gerekiyor. https://www.docker.com/docker-windows

Docker for Windows kurulumunu tamamladıktan sonra repositoryde ihtiyacımız olan imajı local repositorye indirerek kuruluma devam edebiliriz.

Öncelikle komutlarımızı çalıştırabilmek için Powershell’i run as administrator moduyla açtığımızdan emin olalım ve Powershell admin modunda açıldıktan sonra aşağıdaki komut ile ElasticSearch imajını indirelim.

docker pull elastic/elasticsearch:6.2.2

Kullanacağım imaj uyum problemi olmaması için yine elastic tarafından maintain edilen imaj olacak. Pull işlemi tamamlanana kadar aşağıdaki linki kullanarak repository hakkında detaylı bilgi edinebilirsiniz.

https://hub.docker.com/r/elastic/elasticsearch/             

Artık aksiyon aşamasına geçebiliriz.. Testlerim sırasında kullandığım imajlarımı, default olarak kullanılan bridge network yerine yine bridge driveri kullanarak oluşturduğum custom bir networkle çalıştırdım. Siz de benim gibi containerları static ipyle çalıştırmak istiyorsanız, aşağıdaki komutları takip etmenizi öneririm. Docker networking konusu detaylı olarak araştırmanız ve test etmeniz gereken bir konu. Bununla ilgili dilerseniz Docker dokümantasyonlarını inceleyebilirsiniz. Ben network layerın detaylarında boğulmadan hızlıca tanımları yapacağım;

Reklam içeren:) bu yeni networku oluşturmak için;

docker network create --driver bridge --subnet=172.18.0.0/24 ogretmenNw 

komutunu kullanmanız yeterli olacaktır. Eğer 172.18.0.0/24 subnetini kullanan başka custom bir  network tanımınız yok ise hata almadan yeni network oluşturma işlemini tamamlayabilirsiniz. Komutun işe yarayıp yaramadığını görmek için ise aşağıdaki komutu;

docker network ls

Havalı olsun isterseniz de;

(docker network ls)[-1]

komutunu kullanabilirsiniz.  Powershell çok güçlü bir scripting dili, [-1] ile dizinin son indexine ait değeri bizim için çekip getiriyor, sanırım Python'dan esinlenmişler:) Dağılmadan hemen ElasticSearch kurulumuyla devam edelim...

ElasticSearch kurulumu da Jenkins kurulumu kadar kolay, bu sefer kullanması gereken portu da önceden kontrol ettim ve aşağıdaki komutu çalıştırdım, işte Docker for Windows ile ElasticSearch kurulumu bu kadar kolay...

docker run -p 9200:9200 -p 9300:9300 --network ogretmenNw --name myElastic --hostname myElastic --ip 172.18.0.21 -e "discovery.type=single-node" elastic/elasticsearch:6.2.2 

Sonraki yazılarımızda kullanacağımız önemli konfigürasyon noktalarını da içeren bu komutla, myElastic isimli yeni bir container oluşturdum. Bu container'in hostname 'i de display name 'i gibi myElastic oldu. IP addressi 172.18.0.21 ve 9200-9300 portlarını docker hosta expose ediyor. 

Elbette ElasticSearch tek başına ELK Stack için yeterli değil ancak olmazsa olmazı. Peki bu ElasticSearch ü kurduk da ne oldu, nasıl bağlanırız, ne yaparız diyorsanız. Bu amçala kullanmak için Chrome extensionlar arasından ElasticSearch Head plugini kullanabilirsiniz.

Yukarıdaki bölüme http://localhost:9200 yazarak localhost üzerinden Elasticsearch'e bağlantı kurarak, dilediğiniz gibi ElasticSearch ü bozabilirsiniz:) İyi eğlenceler...