VMware Cloud Foundation (VCF) üzerinde çalışan Dell-EMC VxRail altyapılarında upgrade işlemleri sırasında VMware ESXi host’un Maintenance Mode’a geçememesi sık görülen ve operasyonu durduran kritik bir problemdir. Bu durum özellikle VxRail upgrade sürecinde ya da NSX-T güncellemeleri esnasında bu durumla karşılaşılabilir.
Sorun çoğunlukla host üzerindeki tüm VM’ler migrate edilmesine rağmen işlem 92% seviyesinde takılı kalmasıyla kendini gösterir.
VCF ortamında upgrade işlemi sırasında VMware ESXi host’unu Maintenance Mode’a alınmak istenir fakat ilerleme 92 % seviyesinde durur ve ilerlemez. Bu durumda VMware vCenter üzerinde görülen tipik çıktı aşağıdaki gibi olabilir.
Waiting for operations to finish: NFS Server OPS:2
Waiting for active NFC session to terminate
Waiting for operations to finish: NFC Server Ops: 1 VSAN Ops: 1 An error occurred while communicating with the remote hostBu durum çoğu zaman upgrade kesilmesine automation workflow’un “failed / in progress loop” döngüsüne girmesine neden olacaktır.
Sorunun temelinde aktif kapanmamış bir NFC (Network File Copy) oturumu veya arka planda sonlandırılmamış VSAN işlemi bulunur. Her ne kadar host üzerinde VM bulunmasa bile NFC oturumu kapatılmamış olabilir. NFC servisleri de genellikle aşağıdaki işlemler sırasında tetiklenir.
| İşlem Tipi | Açıklama |
|---|---|
| Snapshot üzerinden file movement | Yarım kalmış olabilir, |
| Backup / Replication | 3rd-party yedekleme yazılımı ile aradaki bağlantı kopmuş olabilir |
| VMDK copy / clone | Task incomplete kalmış olabilir, |
| VSAN object merge / metadata update | Arka planda devam ediyor olabilir |
Servis kapanmadığı için host Maintenance Mode erişim kilidi oluşturur ve işlem askıda kalır.
Aşağıdaki adımları uygulayarak sorunu giderebilirsiniz.
Host üzerinde VM & VSAN durumlarını doğrulayınız.
esxcli vm process list
esxcli vsan health cluster list
esxcli vsan resync getEğer resync 0 ve VM bulunmuyorsa işlem güvenli şekilde ilerleyebilir.
Bu durumdan etkilenen VMware ESXi Host’a SSH ile bağlanız. Bu aşamada active NFC session ve takılı hostd bağlantılarını temizleyiniz.
/etc/init.d/vpxa restart
/etc/init.d/hostd restarthostd servisinin restart sonrası 30–120 saniye beklemek oldukça önemlidir.
Sorun yaşadağımız VMware ESXi host’u yeniden Maintenance Mode’a alınız.
vim-cmd hostsvc/maintenance_mode_enterSDDC Manager uygulaması üzerinden → Update Tab üzerinden workflow yeniden başlatılır. Bu kez host sorunsuz biçimde sürece dahil olur ve upgrade işlemi devam edecektir.
VCF on VxRail ortamında ESXi host’un Maintenance Mode aşamasında takılması çoğunlukla arkada açık kalmış NFC session veya VSAN işlemleri nedeniyle ortaya çıkan fakat doğru müdahale ile kısa sürede çözülebilen bir problemdir. hostd agent servislerini yeniden başlatmak genellikle en hızlı ve kalıcı çözüm olacaktır.
