HP DL 380 Gen 9 ve Gen 10 Sunucularda NVRAM silinmesi

Bu makalemizde, HP DL 380 Gen 9 ve Gen 10 sunucularında hatalı BIOS firmware, POST sorunları ve Intelligent Provisioning konfigurayon sorunlarını gidermek için NVRAM belleğinin silip yeniden yüklemeniz gerekebilir.

Bu işlem için yapmanız gereken ilk işlem; System Maintenance Switch (SW2) 6. anahtarını pozistonunu “Off” durumundan “On” durumuna almanız gerekecektir. Bu swich anakart üzerinde SAS portlarının yanında bulunmaktadır.  (Aşağıdaki resimde bu switch’in konumu kırmızı halka ile seçilmiştir.)

System Maintenance Switch’in 6. nolu pininin pozisyonunu değiştirmeden önce mutlaka sunucunuzu kapatınız ve enerji kablosunu çıkarınız. ( Sunucu yaklaşık olarak 5 dk bu durumda bekletilir.)

Sunucunuzun enerji kablosunu takınız ve enerji düğmesine basınız.

Sunucunuzun POST işlemi tamamlandıktan sonra aşağdaki uyarı ekranı ile karşılacaksınız. Bu işlemden ile sunucunuzun NVRAM’ı silinecektir.

NVRAM içeriği silme işlemi tamamlandıktan sonra sunucu kapatılır ve switch eski konumuna alınır.

HP iLO-4 Firmware Güncellemesi

Merhabalar, Bu makalemizde yeni nesil HP Proliant ve Blade tüm sunucularda sisteme entegre olarak sunulan sunucu donanım yönetim bileşenidir. iLO ile sunucunuzun uzaktan yönetimini, kurulum ve donanım sorunlarının tespitinde kolaylık sağlar. En son HP Proliant G9 serisi sunucularda iLO-4 ile gelmektedir. iLO-4 diğer eski sürümler oranla daha hızlı ve daha gelişmiş özellikler sunmaktadır. Bu yazımızda iLO-4 fimware güncelleme işlemini yapıyor olacağız.

HP, sık sık iLO firmware güncellemelerini yayınlamaktadır ve çıkan her güncelleme ile yeni özellikle ve iyileştirmeler yapılmaktadır. İLO yazılımını güncellemek için farklı yöntemler sunulmaktadır, Bu yöntemler;

  • Windows ve Linux işletim sistemleri için Çevrim içi güncellemeleri,
  • HP Smart Update Firmware DVD ile çevrim dışı güncelleme
  • iLO web-yönetim arayüzünden çevrim içi güncelleme şeklinde yapılabilmektedir.

Biz bu makalemizde 3. yöntemi kullanıyor olacağız; iLO-4 web-yönetim ekranından sadece .BIN uzantılı dosya desteklenmektedir. .BIN dosyasını direk olarak hpe.com adresinden indiremezsiniz. Bu dosyayı HP sürücü indirme sayfasında “online firmare package” paketi ayıklanarak temin edilmektedir.

Okumaya devam et “HP iLO-4 Firmware Güncellemesi”

ValueError: Cannot merge VIBs Mellanox_bootbank_net-mst Sorunun giderilmesi

HP Proliant DL380 G8 sunucu üzerinde yüklü olan VMware ESXi 5.5 Update 1 işletim sisteminden VMware ESXi 5.5 Update 2 sürümüne yükseltme işlemi sırasında alınan “ValueError: Cannot merge VIBs Mellanox_bootbank_net-mst_2.0.0.0-1OEM.550.0.0.472560, Mellanox_bootbank_net-mst_2.0.0.0-1OEM.550.0.0.472560 with unequal payloads attributes ([net-mst: 8.250 KB], [net-mst: 8.242 KB])” hatasının giderilmesini inceliyor olacağız.  

Sunucu üzerinde bulunan “Mellanox” üreticisine ait ağ  ve infinibant kartlarında VMware ESXi 5.5 sürüm yükseltilmesinde sürücü hatasından dolayı aşağıdaki hata ile karşılaşmanıza neden olur.

Bu sorunu gidermek için sırasıyla aşağdaki işlemleri yapmanız gerekecektir.

  • SSH ile ESXi sunucusuna bağlanınız.
  • ESXi üzerindeki bütün VIB dosyalarını listeleyeniz. Bu işlem için esxcli software vib list komutunu kullanabilirsiniz.
  • VIB listesi çok uzun ve karmaşık gelmesi durumunda içerisinde net adı geçen VIB dosyaları listelenir. Bu işlem için esxcli software vib list | grep net komutunu kullanabilirsiniz.
  • ESXi hostu üzerindeki ağ kartlarını listeyiniz. Bu işlem için esxcli network nic list komutunu kullanabilirsiniz. Bu komut sunucu üzerindeki aktif ve pasif ağ kartlarını listeleyecektir.

Not: Mellanox’a ait ağ kartlarını listemek için lspci | grep Mellanox komutunu kullanabilirsiniz.

  • net-mst VIB dosyalarını kaldırmak için esxcli software vib remove -n net-mst komutunu çalıştırıldıktan aşağıdaki onayı almalısınız.

Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.

VIBs Removed: Mellanox_bootbank_net-mst_2.0.0.0-1OEM.550.0.0.472560

  • Sunucunuzu yeniden başlatınız.
  • ESXi upgrade öncesinde Mellanox tarafından yayınlanan en güncel firmware uygulamasını yükleyiniz.
  • HP Custom ESXi kurulum medyası ile Upgrade işleminin yeniden başlatınız ve ESXi 5.5 Update 2 sürümü için yükseltme işleminin başlatabilirsiniz.
  • ESXi kurulumu tamamlandıktan sonra Mellanox sitesinde yayınlanan en güncel driver’ın kurulumu yapılır. Bu işlem için Mellanox resmi web sitesinden indirilen driver VMware ESXi sunucuna WinSCP uygulaması yardımıyla kopyalanır. Driver kopyalama işlemi tamamlandıktan sonra aşağıdaki komut ile kurulum işlemi başlatılır.
# esxcli software vib install -d /tmp/MLNX-OFED-ESX-1.9.10.0-10EM-550.0.0.1331820.zip
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
VIBs Installed: Mellanox_bootbank_net-ib-addr_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-ib-cm_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-ib-core_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-ib-mad_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-ib-sa_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-ib-umad_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-mlx4-core_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-mlx4-en_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-mlx4-ib_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_net-rdma-cm_1.9.10.0-1OEM.550.0.0.1331820, Mellanox_bootbank_scsi-ib-iser_1.9.10.0-1OEM.550.0.0.1331820
VIBs Removed:
VIBs Skipped:
#
  • Driver kurulum işlemi tamamlandıktan sonra ESXi sunucu yeniden başlatılır.
  • ESXi sunucu açıldıktan sonra sürücü modullerinin yüklendiğinden emin olunur. Bu işlem için esxcli software vib list | grep Mellanox komutunu kullanabilirsiniz.
~ # esxcli software vib list | grep Mellanox
net-ib-addr                              1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-ib-cm                                 1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-ib-core                               1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-ib-mad                               1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-ib-sa                                   1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-ib-umad                            1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-mlx4-core                          1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-mlx4-en                             1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-mlx4-ib                              1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
net-rdma-cm                           1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
scsi-ib-iser                               1.9.10.0-1OEM.550.0.0.1331820         Mellanox  PartnerSupported  2015-03-13
# esxcli system module list | grep mlx4
mlx4_core                               true                 true
mlx4_en                                  true                 true
mlx4_ib                                   true                true

~ # esxcli system module list | grep ib_
ib_core                                    true                 true
ib_mad                                     true                 true
ib_sa                                         true                 true
ib_umad                                   true                 true
ib_cm                                        true                 true
ib_addr                                     true                 true
ib_iser                                       true                 true

Sunucu yeniden başlatıldıktan sonra sürücülerin yükleneceğinden emin olunur bu işlem için aşağıdaki komutları çalıştırınız.

esxcli system module set -e true -m mlx4_en
esxcli system module set -e true -m mlx4_core
esxcli system module set -e true -m mlx4_ib

Virtual Switch uplink bağlantısını doğrulayınız. vSwich standard switch modundayken Mellanox ağ kartlarının switch uplink switch olarak kullanıldığından emin olunuz. esxcli network vswitch standard list komutu ile uplink portu olarak kullanılan ağ kartınını belirleyiniz. Bu komut çıktısında uplink portu olarak vmnic1 kullanılmaktadır.

# esxcli network vswitch standard list

vSwitch0
Name: vSwitch0
Class: etherswitch
Num Ports: 3072
Used Ports: 4
Configured Ports: 128
MTU: 1500
CDP Status: listen
Beacon Enabled: false
Beacon Interval: 1
Beacon Threshold: 3
Beacon Required By:
Uplinks: vmnic1
Portgroups: VM Network, Management Network

esxcli network nic list komutu ile vmnic1 ağ kartının Mellanox üreticisine ait olup-olmadığı kontrol edilir.

# esxcli network nic list

Name                    PCI Device          Driver                   Link                        Speed                  Duplex                  MAC Address                                          MTU                     Description

————              ————-           ——-  —-  —–  ——  —————–  —-  —————————————————

vmnic0                 0000:002:00.0 mlx4_en               Up                          40000                   Full                        00:02:c9:a0:9a:10                                   1500                     Mellanox Technologies MT27500 Family [ConnectX-3]

vmnic1                 0000:005:00.0  e1000e                 Up                          1000                      Full                        00:25:90:4f:ea:fa                                   1500                     Intel Corporation 82574L Gigabit Network Connection

vmnic1                  000002  0000:002:00.0  mlx4_en  Down                0                             Half                        00:02:c9:a0:9a:11                                   1500                     Mellanox Technologies MT27500 Family [ConnectX-3]

vmnic2                 0000:006:00.0  e1000e                 Down                    0                             Half                        00:25:90:4f:ea:fb                                   1500                     Intel Corporation 82574L Gigabit Network Connection

#

Çalışan sürücüleri yeniden başlatak için aşağıdaki komutu çalıştırınız.

# /opt/mellanox/bin/openibd.sh restart
/etc/init.d/sfcbd-watchdog stop

vmkload_mod -u mlx4_ib

Module mlx4_ib successfully unloaded

vmkload_mod -u ib_iser

Module ib_iser successfully unloaded

vmkload_mod -u rdma_cm

Module rdma_cm successfully unloaded

vmkload_mod -u ib_addr

Module ib_addr successfully unloaded

vmkload_mod -u ib_cm

Module ib_cm successfully unloaded

vmkload_mod -u ib_umad

Module ib_umad successfully unloaded

vmkload_mod -u ib_sa

Module ib_sa successfully unloaded

vmkload_mod -u ib_mad

Module ib_mad successfully unloaded

vmkload_mod -u ib_core

Module ib_core successfully unloaded

vmkload_mod -u mlx4_en

Module mlx4_en successfully unloaded

vmkload_mod -u mlx4_core

Module mlx4_core successfully unloaded

vmkload_mod mlx4_core

Module mlx4_core loaded successfully

vmkload_mod mlx4_en

Module mlx4_en loaded successfully

vmkload_mod ib_core

Module ib_core loaded successfully

vmkload_mod ib_mad

Module ib_mad loaded successfully

vmkload_mod ib_sa

Module ib_sa loaded successfully

vmkload_mod ib_umad

Module ib_umad loaded successfully

vmkload_mod ib_cm

Module ib_cm loaded successfully

vmkload_mod ib_addr

Module ib_addr loaded successfully

vmkload_mod rdma_cm

Module rdma_cm loaded successfully

vmkload_mod ib_iser

Module ib_iser loaded successfully

vmkload_mod mlx4_ib

Module mlx4_ib loaded successfully

/etc/init.d/sfcbd-watchdog start

#

HPE Proliant Gen9 ve Gen10’da Patch ESXi650-201707205-UG Guncelleme Sonrası PSOD ve Ag Kesinti Sorunun Giderilmesi

HPE Proliant Gen9 ve Gen 10 sunucular üzerine Custom VMware ESXi 6.5 ve sonrasında Patch olarak güncellenen ESXi650-201707205-UG güncellemesi ile sunucunuzun ara ara pembe ekran hatasına düşmesi ve ağ kartlarındaki bağlantının kesilmesi sorunu ile karşılaşabilirsiniz

PSOD ekranı hata içeriği;
#PF Exception 14 in world 67823:sfcb-intelci IP 0x418014104d8f addr 0x43914779c000.

Kapsamdaki Sunucu Modelleri
HPE ProLiant BL460c Gen10 Server Blade
HPE ProLiant BL460c Gen9 Server Blade
HPE ProLiant BL660c Gen9 Server Blade
HPE ProLiant DL120 Gen9 Server
HPE ProLiant DL160 Gen9 Server
HPE ProLiant DL180 Gen9 Server
HPE ProLiant DL20 Gen9 Server
HPE ProLiant DL360 Gen9 Server
HPE ProLiant DL380 Gen9 Server
HPE ProLiant DL560 Gen9 Server
HPE ProLiant DL580 Gen9 Server
HPE ProLiant DL60 Gen9 Server
HPE ProLiant DL80 Gen9 Server
HPE ProLiant ML110 Gen9 Server
HPE ProLiant ML150 Gen9 Server
HPE ProLiant ML30 Gen9 Server
HPE ProLiant ML350 Gen9 Server
HPE ProLiant WS460c Gen9 Graphics Server Blade

Ağ kartı modelleri
HPE Ethernet 10Gb 2-port 560FLB Adapter
HPE Ethernet 10Gb 2-port 560FLR-SFP+ Adapter
HPE Ethernet 10Gb 2-port 560M Adapter
HPE Ethernet 10Gb 2-port 560SFP+ Adapter
HPE Ethernet 10Gb 2-port 561FLR-T Adapter
HPE Ethernet 10Gb 2-port 561T Adapter
HPE Ethernet 10Gb 2-port 562FLR-T Adapter
HPE Ethernet 10Gb 2-port 562T Adapter

Bu sorunu geçici çözmek için; VMware ESXi 6.5 için yayınlanan Patch ESXi650-201707205-UG ile birlikte gelen net-ixgben https://kb.vmware.com/s/article/2149916 sürücüsünün kaldırılması veya ESXi sürümünü bir önceki versiyona döndürülmesi ile sorunu giderebilirsiniz. https://kb.vmware.com/s/article/1033604

HPE Gen9 ve Gen10 Blade Sunucularda Virtual Connect ‘de pause-flood detected Sorunun Giderilmesi

Merhabalar, Bu makalemde HPE Blade sunucularda firmware güncelleme işlemi sonrasında; sunucu üzerindeki ağ kartlarının devre dışı olma ve HPE Virtual Connect’deki Pause Floud sorunun giderilmesine değiniyor olacağız.

Muhtemelen tüm sistem yöneticileri; sunucuya ping ile ulaşması deneme, Fiziksek NIC kartlarının arızalı olduğunu veya bir sonraki aşamadan bağlantı kabloları ve Uplink’lere bağlı switch konfigürasyonuna kadar ağdan kaynaklanbileceğini tahmin edecektir. Bu hatanın yaşandığı HPE Virtual Connect arayüzüne bağlanıldığında herşeyin düzgün çalıştırığını görebilirsiniz.

Arızalı olduğunu düşündüğünüz sunucunun “Virtual Connect” üzerindeki “Server Profile” ayarlarında ağ kartı ayarlarınında düzgün çalıştığını da görebilirsiniz.

Bu sorunun kaynağını göreceğiniz yer “Interconnect Bay” ‘da “Root Cause” kısmından yada Virtual Connect’e yapılacak SSH bağlantısı sonrası show port-protect komutunu kullanabilirsiniz.

Virtual Connect -> Hardware –> InterConnect Bays ‘den; Bay1 ve Bay2 kartlarına bağlanınız, Açılan sayfadan “Server Ports” sekmesine gidiniz ve Status bölümünden “Not Linked/Pause Flood Detected” hatasının olduğu flex port bilgisini kontrol ediniz.

Virtual Connect System Loglarındaki hataya ilişkin kayıtları

2018-11-22T02:38:33-06:00 VC2040F8-7C9713004X vcmd: [SVR:enc0:dev3:5004:Info] Server power on
2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay1:d2:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay1:d2:v1:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay1:d2:v2:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay1:d2:v3:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [ENET:enc0:iobay1:3020:Minor] Enet Module state DEGRADED : 1 or more ports LOOP_DETECTED or PAUSE_FLOOD_DETECTED, Previous: Enet Module state OK, Cause: Port enc0:iobay1:d2 pause-flood detected and automatically disabled

2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [ENC:enc0:2014:Minor] Enclosure state DEGRADED : Some Enet modules & servers not OK, Previous: Enclosure state OK, Cause: Port enc0:iobay1:d2 pause-flood detected and automatically disabled

2018-11-29T01:16:43-06:00 VC2040F8-7C9713004X vcmd: [VCD:CZ272100PC_vc_domain:1024:Minor] Domain state DEGRADED : 1+ enclosures & profiles OK, DEGRADED, UNKNOWN, NOT-MAPPED, Previous: Domain state OK, Cause: Port enc0:iobay1:d2 pause-flood detected and automatically disabled

2018-11-29T01:16:44-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay2:d2:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:44-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay2:d2:v1:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:44-06:00 VC2040F8-7C9713004X vcmd: [ENET PORT:enc0:iobay2:d2:v2:3102:Major]  : Port was disabled because a pause flood was detected.

2018-11-29T01:16:44-06:00 VC2040F8-7C9713004X vcmd: [ENET:enc0:iobay2:3020:Minor] Enet Module state DEGRADED : 1 or more ports LOOP_DETECTED or PAUSE_FLOOD_DETECTED, Previous: Enet Module state OK, Cause: Port enc0:iobay2:d2 pause-flood detected and automatically disabled

2018-11-29T01:16:51-06:00 VC2040F8-7C9713004X vcmd: [VCD:CZ272100PC_vc_domain:1032:Warning] VCM remote session is invalid or has expired : hpvcd:showManagedObjects ([UNKNOWN]@[LOCAL])

Bu sorunu gidermek için Virtual Connect Manager kartına SSH ile bağlanınız ve port durum bilgisini görüntülemek için aşağıdaki komutu çalıştırınız

reset port-protect

Aşağıdaki komutu kullanarak bağlantı noktasının durumunun doğrulayınız.

show port-protect

Bu işlemleri sonrasında ağ kartınız için yayınlanan güncel firmware ve cihaz sürücüsünü güncelleyiniz.