İçerik

• adımlar
• İpuçları
• Uyarılar

Saniyede yüz trilyonlarca kayan nokta hesaplaması yapabilen bir makine mi arıyorsunuz? Yoksa odanıza monte edilmiş süper bilgisayar hakkında arkadaşlarınızla övünmek mi istiyorsunuz? Yüksek performanslı bir bilgi işlem kümesi veya bir süper bilgisayar oluşturmak, hafta sonu bedava olan ve biraz para kalan meraklıların başarmaya çalışabileceği bir zorluktur. Teknik olarak konuşursak, çok işlemcili bir süper bilgisayar, bir sorunu çözmek için birlikte çalışan bir bilgisayar ağıdır. Bu makale, donanım ve yazılıma odaklanarak süreçteki her adımı kısaca açıklayacaktır.

adımlar

1. 

   Önce gerekli donanım bileşenlerini ve kaynakları belirleyin. Bir ana düğüme, en az 12 özdeş ağ düğümüne, bir Ethernet anahtarına, bir güç dağıtım birimine ve bir rafa ihtiyacınız olacak. Gerekli elektrik, soğutma ve alan talebini belirleyin. Ayrıca, özel ağlarınız için hangi IP adresini istediğinize, düğümleri nasıl adlandıracağınıza, hangi yazılım paketlerini yüklemek istediğinize ve paralel hesaplamayı gerçekleştirmek için hangi teknolojinin kullanılacağına (daha sonra bundan sonra bahsedeceğiz) karar verin.
   • Donanım pahalı olmasına rağmen, kılavuzda listelenen tüm programlar ücretsizdir ve çoğu açık kaynaklıdır.
   • Süper bilgisayarınızın teorik olarak ne kadar hızlı olacağını görmek istiyorsanız, şu aracı kullanın: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Düğümleri oluşturun. Düğümleri bağlamanız veya önceden birleştirilmiş sunucular satın almanız gerekecektir.
   • Alan, soğutma ve güç kullanımını en üst düzeye çıkaran sunucu kasasını seçin.
   • Ayrıca, toplam maliyeti parçaların toplamından daha yüksek olacak, ancak yine de çok tasarruf edeceksiniz. Sistemin iyi çalışması için tüm işlemciler, ağ bağdaştırıcıları ve anakartlar aynı olmalıdır. Açıkçası, her düğümde RAM ve depolama ve baş düğüm için en az bir optik sürücü eklediğinizden emin olun.

3. 

   
   
   Sunucuları rafa kurun. Alttan başlayın, böylece üst kısmı çok ağır olmaz. Bunun için arkadaşlarınızın yardımına ihtiyacınız olacak - yoğun sunucular çok ağır olabilir ve onları tutan yollarda onlara rehberlik etmek zordur.

4. 

   Ethernet anahtarını sunucu kasasının üzerine kurun. Anahtarı yapılandırmak için bu zamanı ayırın: 9000 baytlık jumbo çerçeve boyutlarını etkinleştirin, IP adreslerini ilk adımda belirlenen statik adrese ayarlayın ve SMTP Snooping gibi gereksiz yönlendirme protokollerini devre dışı bırakın.

5. 

   
   
   Güç dağıtım ünitesini kurun. Düğümlerin tam yükte ne kadar akım gerektireceğine bağlı olarak, yüksek performanslı bilgi işlem için 220 volta ihtiyacınız olabilir.

6. 

   Her şey kurulduktan sonra yapılandırma işlemine başlayabilirsiniz. Linux, HPC kümeleri için ideal işletim sistemidir - yalnızca bilimsel bilgi işlem için ideal bir ortam olmakla kalmaz, aynı zamanda yüzlerce hatta binlerce düğüme kurmak ücretsizdir. Windows'u tüm bu düğümlere kurmanın ne kadara mal olacağını bir düşünün.
   • Tüm düğümlerde aynı olması gereken anakart BIOS'u ve ürün yazılımının en son sürümünü kurarak başlayın.
   • Baş düğümde bir grafik arabirim ile her düğümde en sevdiğiniz Linux sürümünü kurun. Popüler seçenekler arasında CentOS, OpenSuse, Scientific Linux, RedHat ve SLES bulunur.
   • Rocks Cluster Distribution'ı da kullanabilirsiniz. Rocks, kümenin çalışması için gerekli tüm araçları kurmanın yanı sıra, bir PXE önyüklemesi ve Red Hat'in 'Kick Start' prosedürünü kullanarak kendisinin birden çok örneğini düğümlere çok hızlı bir şekilde dağıtmak için mükemmel bir yöntem kullanır.

7. 

   Mesajlaşma arayüzünü, kaynak yönetimini ve diğer gerekli kitaplıkları kurun. Rocks'ı önceki adımda kurmadıysanız, paralel hesaplama mekanizmalarını etkinleştirmek için gereken yazılımı manuel olarak yapılandırmanız gerekecektir.
   • İlk olarak, görevleri birden fazla makineye bölmenize ve dağıtmanıza olanak tanıyan Torque Resource Manager gibi taşınabilir büyük ölçekli bir yönetim sistemine ihtiyacınız olacak.
   • Kurulumu tamamlamak için Torque'u Maui Cluster Scheduler ile eşleştirin.
   • Daha sonra, aynı verileri paylaşmak için farklı düğümlerin ayrı süreçleri için gerekli olan mesaj aktarım arayüzünü kurmanız gerekecektir. OpenMP'nin kullanımı kolaydır.
   • Paralel hesaplama programları için çok iş parçacıklı matematik kitaplıklarını unutmayın. Rocks kurarsanız gerçekten daha kolay.

8. 

   Bilgisayar düğümlerini bağlayın. Baş düğüm, görevleri bilgisayarın düğümlerine gönderir, ardından sonucu geri göndermesi ve birbirlerine mesajlar göndermesi gerekir. Ne kadar hızlı olursa o kadar iyi.
   • Kümedeki tüm düğümleri bağlamak için özel bir ethernet ağı kullanın.
   • Baş düğüm, Ethernet ağı üzerinden bir NFS, PXE, DHCP, TFTP ve NTP sunucusu olarak da hareket edebilir.
   • Bu ağı genel ağlardan ayırmanız gerekir, bu da iletim paketlerinin LAN'ınızdaki diğer ağlarla çakışmamasını sağlar.

9. 

   Kümeyi test edin. Kullanıcılarınıza tüm bu bilgi işlem gücünü sunmadan önce yapmak isteyeceğiniz son şey, performanslarını test etmektir. HPL (Yüksek Performanslı Lynpack) kıyaslaması, kümenin hesaplama hızını ölçmek için popüler bir seçimdir. Derleyici tarafından seçilen mimari için sunulan tüm olası optimizasyonlarla birlikte kaynaktan derlemeniz gerekecektir.
   • Açıkçası, platformunuz için olası tüm optimizasyonlarla kaynaktan derlemeniz gerekir. Örneğin, AMD CPU'ları kullanırken, -0 hızlı optimizasyon seviyesiyle Open 64 ile derleyin.
   • Kümenizi dünyanın en hızlı 500 süper bilgisayarı ile karşılaştırmak için TOP500.org'daki sonuçları karşılaştırın!

İpuçları

• IPMI, IP üzerinden KVM, uzaktan işleme rölesi ve daha fazlasını sağlayarak büyük bir kümenin yönetimini kolaylaştırabilir.
• Gerçekten yüksek ağ hızlarına ulaşmak için InfiniBand ağ arayüzlerine bakın. Ancak fiyatlar çok uygun değil.
• Düğümlerdeki hesaplama yükünü izlemek için Ganglia'yı kullanın.

Uyarılar

• Altyapınızın kendilerine yüklenen yükü kaldırabileceğinden emin olun.