P-Grade Portal
Transkript
P-Grade Portal
P-GRADE Portalı Birsen Omay birsen@ulakbim.gov.tr Peter Kacsuk’un sunumundan alıntılarla 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara İçerik P-GRADE Portalının geliştirilme nedeni Kısaca P-GRADE Portalı Portalda uygulama geliştirme Portalda uygulama çalıştırma Portalda parametre çalışma eklentisi Genel Durum Uygulama Uygulama araçları, standartları Üst seviye grid servisleri (aracı,…) Temel grid servisleri: AA, iş gönderme, bilgi alma, … Kullanıcı arayüzleri P-GRADE Portalı Komut satırı araçları Grid ortakatmanı Grid Hesaplamanın Şimdiki Durumu ve Geleceği Grid sistemleri ve ortkatmanının hızlı gelişimi: GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, … Birçok grid sistemleri bunlarla üretildi: EGEE (LCG-2 gLite), UK NGS (GT2), Open Science Grid (GT2 GT4), NorduGrid (~GT2) Aynı temel servisler her yerde kullanılabilir olmasına rağmen, farklı yollarda geliştirildi Veri servisleri Hesaplama servisleri Güvenlik servisleri (single sign-on) Aracılar Kısaca P-GRADE Portalı Genel kullanımlı, iş akışı tabanlı Grid portalı İş akışına dayanan grid uygulamalarının geliştirilmesini ve çalıştırılmasını sağlar GridSphere-2’ye dayalı Yeni portletler kolaylıkla eklenebilir Kullanıcı ihtiyaçlarına göre uyarlanabilir Grid sistemlerindeki birlikte çalışabilirlik sorununu iş akışı seviyesinde çözer İlgili Projeler Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler tarafından yürütülmektedir: SEE-GRID www.see-grid.eu Geliştirme ve uygulama desteği Coregrid www.coregrid.net Araştırma, geliştirme EGEE www.eu-egee.org LCG ve gLite eğitimleri, uygulama geliştirme ICEAGE www.iceage-eu.org Grid eğitimleri P-GRADE Portalında iş akışı nedir? Yönlendirilmiş, çevrimsiz çizge (directed acyclic graph, DAG) Düğümler, program işlerini Kapılar, işlerin istediği ya da ürettiği girdi/çıktı dosyalarını Düğümleri birbirine bağlayan kenarlar, dosya transfer işlemlerini temsil eder. İş akışının anlamı: Eğer bütün girdi dosyaları hazırsa o iş çalıştırılabilir. İş Akışlarında İki Seviyeli Paralellik P-GRADE portalındaki iş akışı kavramı, karmaşık problemlerin etkili bir şekilde paralelleştirilmesini sağlar İş akışları iki seviyede paralellik sağlar : – İş akışlarının düğümleri içindeki paralellik – İş akışlarının düğümleri arasındaki paralellik Birden fazla iş paralel olarak çalışabilir İşler paralel bir programdan oluşabilir Kısa Menzilli Hava Tahmini (Macaristan Meteoroloji Servisi) Tehlikeli hava koşullarının (fırtına, sis) tahmin edilebilmesi can ve mal güvenliği için oldukca önemlidir 25 x 10 x 25 x 5x İşlenecek bilgi: yüzey seviyesi, yükseklik ölçümleri, radar, uydu, aydınlanma, önceki hesaplamaların sonuçları Gereksinimler: •Hesaplama zamanı < 10 dk •Yüksek çözünürlük (1km) Tipik Kullanıcı Senaryosu (Geliştirme Aşaması) Sertifika sunucusu İş akışını kaydetme Portal sunucusu Grid servisleri Editörü başlatma İş akışı oluşturma, iş akışı üzerinde değişiklik yapma İş Akışı Geliştirme (İş Akışı Editörünü Açma) Editör, bir Java Webstart uygulamasıdır. İndirip kurulması, sadece bir “tık” ile! İş Akışı Editörü (Grafik Tanımlama) Toplu işlerden yönlü, çevirimsiz bir grafik oluşturma amaçlanır: 1. Sürükle-bırak birleşenleri: işler ve kapılar 2. Özelliklerinin tanımlanması 3. Kapıların bağlanması (çevirim, döngü veya koşul eklenemez) İş Akışı Editörü (İşin Özellikleri) İşin özellikleri: • (Linux) exe dosyası • Tipi • Gerekli işlemci sayısı • Komut satırı parametreleri • Kullanılacak Grid/VO (ve CE) İş Akışı Editörü (Hangi CE?) Bilgi Sistemi portleti, bu sorgulamada yardımcı olacaktır. Otomatik Kaynak Seçimi • • İş için aracı bir Grid/VO seçin (ör. trgridb) İşin belli gereksinimleri varsa bunları JDLde tanımlayın. • İş akışı editörünün kendi JDL editörü vardır. İş için en iyi kaynağı bulmak için portal aracıyı kullanacaktır. İş Akışı Editörü (Seçimi Aracıya Bırakma) “_BROKER” ile biten Grid ismini seçin. CE ismini önemsemeyin. Dilerseniz JDL editörü ile JDL komutları ekleyebilirsiniz İş Akışı Editörü (JDL Editörü) İş Akışı Editörü (Port Tanımlama) Tip: input: İş için gerekli output: İş üretir Dosya tipi: local: masaüstümde remote: Grid üzerinde SE’de Dosya: dosyanın yeri Dosya tutum tipi: Permanent: iş akışının sonuçlarına dahil Volatile: yalnızca işler arası veri aktarımı için Dosya İsimlendirme Örnekleri Local Kullanıcının bilgisayarında c:\experiments\11-04.dat Remote LFC mantıksal dosya ismi lfn:/grid/egrid/sipos/11-04.dat GridFTP adresi gsiftp://myhost.com/11-04.dat Lokal ve Uzak Dosyalar İşiniz depolama dosyalarına doğrudan ulaşabilir. LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR Portal sunucusu LOKAL ÇIKTI DOSYALARI Depolama elemenları UZAK GİRDİ UZAK ÇIKTI DOSYALARI DOSYALARI LOKAL ÇIKTI DOSYALARI Sadece kalıcı dosyalar! Grid servisleri Hesaplama elemanları İş Akışı Editörü (İş Akışını Kaydetme) İş akışı tanımlandı! Şimdi çalıştırılabilir! İş Akışının Çalıştırılması Proxy indirilmesi İş akışının gönderilmesi İş akışının takip edilmesi Hataların düzeltilmesi Sonuçların indirilmesi Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –1. adım) Sertifika sunucusu PROXY SERTİFİKASININ İNDİRİLMESİ Portal sunucusu Grid servisleri Sertifika Yöneticisi (Sertifika Portleti) • GSI tabanlı gridlere ulaşabilmek için portal sunucusu proxy sertifikasına ihtiyaç duyar • “Sertifikalar” portleti: •X.509 sertifikalarının MyProxy sunucularına yüklenmesi • kısa zamanlı proxy sertifikalarının portal sunucusuna indirilmesi Sertifika Yöneticisi (Proxy’nin İndirilmesi) 1. 1. MyProxy sunucusu detayları • Makine ismi • Port numarası • Kullancı ismi (yüklemeden) • Şifre (yüklemeden) Proxy parametreleri • Yaşam uzunluğu • Açıklama Sertifika Yöneticisi (Proxy’nin Grid/VO ile İlişkilendirilmesi) Proxy detayları ve seçebileceğiniz Grid/VO olasılıkları Sertifika Yöneticisi (Proxy Sertifikalarının Taranması) Portal sunucusunda aynı anda birden fazla proxy sertifikası bulunabilir! SEE-GRID CE ve SEleri HUNGRID CE ve SEleri Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –2. adım) Sertifika sunucusu DOSYALARIN TRANSFERİ, İŞLERİN GÖNDERİLMESİ Portal sunucusu Grid servisleri İş Akışı Yönetimi (İş Akışı Portleti) • Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten işlerin çıktıları gösterilir. • Kullanıcıların portal sunucusundaki depolama alanlarını kontrol edebilmek için, kota yöneticisi bulunmaktadır. İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme) İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme) İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme) İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme) İş Akışı Çalıştırma (İş Akışı Portletinden İşlerin Durumunu İzleme) Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması –3. adım) Sertifika sunucusu İŞLERİ GÖZLEMLEME ve İŞ AKIŞI İLERLEMESİ Portal sunucusu İŞLERİ İZLEME Grid servisleri İş Akışı ve İş Seviyesinde Gözleme (İş Akışı Portleti) - İş akışının ilerleyişi portaldan takip edilip gözlenebilir. İş Akışı ve İş Seviyesinde Gözlemleme (İş Akışı Portleti) - Paralel işlerin ilerleyişi de portaldan takip edilip gözlenebilir. (Eger Mercury monitor için hazırlanmışsa) Başarısız Olan İş Akışının Kurtarılması 1. Adım İş akışı çalıştırılırken bir işte hata oluştu Hata sebebini log dosyasından öğrenin Başarısız Olan İş Akışının Kurtarılması 2. Adım Biten işlerde düzeltme yapmanıza gerek yok! Hatalı işi başka bir CEye yönlendirin, ya da yeni bir proxy sertifikası indirin. İş akışının çalıştırılması hata alınan noktadan devam edebilir! Tipik Kullanıcı Senaryosu (Çalıştırma Aşaması – 4. Adım) Sertifika sunucusu Portal sunucusu Grid servisleri SONUÇLARI N İNDİRİLMESİ SONUÇLARI N İNDİRİLMESİ Sonuçların İndirilmesi... Ek Özellikler İş akışları portal sunucusuna yüklenebilir. İş akışları portal sunucusundan indirilebilir. İş akışları ve sonuçları araştırmacılar arasında paylaşılabilir! İş akışları farklı portallara taşınabilir! İş Akışı Yükleme / İndirme Portal sunucusundan iş akışı indirilmesi İş akışındaki gereksiz dosyaların silinmesi To İş delete akışı trace/output loglarının /of the sonuçlarının workflow silinmesi (if any) Parametre Çalışma Eklentisi Kullanıcılar iş akışı seviyesinde parametre çalışması desteğine ihtiyaç duymaktadır. Parametre çalışması: Eger kullanıcının varolan, hazır bir iş akışı varsa kullanıcılar bu iş akışını Tekrar çalıştırmak (değişiklik yapmadan) Farklı parametrelerle çalıştırmak ihtiyacı duymaktadır. İş Akışlarında Üç Seviyeli Paralellik Aynı iş akışının birden fazla kopyası farklı veri dosyalarıyla işlem yapabilir. – İş akışlarının düğümleri içindeki paralellik (SIMD/MIMD/MISD) – İş akışlarının düğümleri arasındaki paralellik (SIMD/MIMD/MISD) – İş akışına parametre çalışması eklentisi (SIMD) Birden fazla iş paralel olarak çalışabilir İşler paralel bir programdan oluşabilir Parametre Çalışması İş Akışı Çalıştırılması 1 PS iş akışı çalıştırılması 4 x 3 normal iş akışı çalıştırılması PÇ kapısı: girdi dosyasının 4 kopyası PÇ kapısı: girdi dosyasının 3 kopyası = Böylece 3. seviyede paralellik sağlanarak, çok fazla Grid kaynağına ihtiyaç duyulmaktadır. Parametre Çalışması İş Akışı Geliştirme 1. Önceden Test Edilmiş İş Akışı Parametre Çalışması İş Akışı Geliştirme 2. PÇ Kapılarının Tanımlanması “Switch to PS” seçeneğiyle girdi kapısının PÇ kapısına dönüştürülmesi Parametre Çalışması İş Akışı Geliştirme 3. Girdi Dosyalarının Bulunduğu Dizinin Belirlenmesi Girdi dosyalarının bulunduğu Grid dosya katalog dizini Parametre Çalışması İş Akışı Geliştirme 4. Sonuç Dosyalarının Kaydedileceği Dizinin Belirlenmesi Parametre Çalışması İş Akışı Geliştirme 5. İş Akışının Gönderilmesi Parametre Çalışması İş Akışı Geliştirme 5. İş Akışının Takip Edilmesi Total = Init + Submitted + Rescue + Error + Finished Sonuçlar P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları saklar Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir – – – Sıralı kodlar MPI kodları Eski kodları (Legacy codes) Kodlarda gride özel konutların bulunmasına gerek kalmaz Uygulama geliştirme, çalıştırma ve izlemek için grafiksel araçlar kullanılır Ortak takım çalışmalarını destekler İş akışlarının paylaşılması İşlerin paylaşılması Standart portlet APIsiyle geliştirilmiştir özel uygulama alanlarına, kullanıcı gruplarına göre ayarlanabilir. Teşekkürler! portal@grid.org.tr www.grid.org.tr/servisler/pgrade www.lpds.sztaki.hu/pgportal 9-10 Temmuz 2007, Tübitak Ulakbim, Ankara