VMware NSX Manager 3 node’lu Cluster mimarisi sayesinde yüksek erişilebilirlik (HA) ve süreklilik sunar. Ancak bazen temel servislerden biri olan Corfu çalışmadığında tüm cluster’in dengesi bozulabilir. Benim yaşadığım sorun da tam olarak buydu iki node’un birden servisleri başlatamadı tarayıcıda yalnızca hata kodu 101 görünüyordu. Node’lar arası bağlantı kararsızdı ve Corfu düzgün çalışmıyordu.
Bu makalemde bu sorunu gidermeye yönelik kullandığım komut örnekleriyle birlikte adım adım paylaşacağım.
- Node: 192.168.101.101 üzerinde hata belirtileri başladı.
- İkinci düğüm (192.168.101.102) de kısa sürede etkilendi.
- NSX GUI “Degraded Cluster” uyarısı verdi.
- Loglarda Corfu, Monitoring ve capacity threshold alarmları vardı.
Adım 1: NSX Manager’ler Arasındaki Bağlantının Kontrolü
İlk iş NSX Manager node’larının birbirine erişip erişmediğini doğrulamaktır.
ping -c 4 192.168.101.101
ping -c 4 192.168.101.102
ping -c 4 192.168.101.103
Sonuç olarak ping ile yapılan testte paket kaybı yok. Ancak Corfu bağlantısı başarısızdır.
nc -zv 192.168.101.102 9000
nc: connect to 192.168.101.102 port 9000 (tcp) failed: Connection refused
Port 9000 dinlenmiyordu. Hemen kontrol ettim:
netstat -tulnp | grep 9000
Çıktı boştu. Yani Corfu çalışıyordu ama iletişim kuramıyordu.
Adım 2: Corfu Servisini İnceleme
Servis durumunu kontrol ettim:
service corfu-server status
Çıktı:
● corfu-server.service - Corfu Infrastructure Server
Active: active (running) since Mon 2025-0X-0X XX:XX:XX UTC; Xmin Xs ago
...
Aug XX XX:XX:XX nsx-vcd-veeam corfu-server[270994]: ERROR | CorfuServer | Failed starting server
Aug XX XX:XX:XX nsx-vcd-veeam corfu-server[270994]: ERROR | ClientHandshakeHandler | fireHandshakeFailed: Handshake Failed. Close Channel.
Aug XX XX:XX:XX nsx-vcd-veeam corfu-server[270994]: ERROR | ClientHandshakeHandler | Handshake Failed. Close Channel.
Servis ayakta görünse de aslında düzgün çalışmıyordu.
Adım 3: NSX Manager Node02 (101.102) Üzerinde Corfu’yu Yeniden Başlatma
Önce servisi yeniden başlattım:
service corfu-server restart
Ama hatalar devam etti:
Aug XX XX:XX:XX nsx-vcd-veeam corfu-server[272004]: ERROR | CorfuServer | Failed starting server
Aug XX XX:XX:XX nsx-vcd-veeam corfu-server[272004]: WARN | Segment | closeSegmentHandlers: Segment /config/corfu/log/214.log is trimmed
Sorunun kaynağı log/veritabanı bozulmasıydı.
Adım 4: NSX Manager Node02 Üzerinde Corfu Verilerini Temizleme
Logları ve veritabanını temizleyerek Corfu’yu sıfırladım:
rm -rf /var/log/corfu/*
rm -rf /config/corfu/*
service corfu-server restart
Sonuç: Corfu çalışmaya başladı. Ancak düğüm hâlâ 86’ya bağlanamıyordu.
Adım 5: NSX Manager Node02 Üzerinde İnceleme
86’da aynı sorun vardı. Port dinlenmiyordu:
netstat -tulnp | grep 9000
Çıktı boş. Hataları inceledim:
cat /var/log/corfu/corfu.9000.log | grep -i "error\|fail\|warn" | tail -n 20
Sonuç:
ERROR | CorfuServer | Failed starting server
ERROR | ClientHandshakeHandler | fireHandshakeFailed: Handshake Failed. Close Channel.
Adım 6: NSX Manager Node02 Üzerinde Corfu Verilerini Temizlemek
Aynı işlemi burada da yaptım:
rm -rf /var/log/corfu/*
rm -rf /config/corfu/*
service corfu-server restart
Bu kez başarılı oldu. Kontrol:
netstat -tulnp | grep 9000
Sonuç:
tcp 0 0 192.168.101.102:9000 0.0.0.0:* LISTEN 97076/java
Artık Corfu 86 üzerinde de çalışıyordu.
Adım 7: Çapraz Bağlantı Testi
VMware NSX Manager Node’ları arasında bağlantıyı tekrar test ettim.
nc -zv 192.168.101.102 9000
Connection to 192.168.1.86 9000 port [tcp/*] succeeded!
nc -zv 192.168.101.103 9000
Connection to 192.168.1.86 9000 port [tcp/*] succeeded!
Bağlantı sorunsuzdu. Küme durumu kontrol ettim:
get cluster status
Başta DEGRADED görünse de servisler otomatik toparlandı.
Adım 8: NSX Manager Monitoring Servisinin Yeniden Başlatılması
Son problem Monitoring servisiydi. Manuel restart yaptım:
restart service monitoring
Bundan sonra tüm servisler UP oldu ve NSX Manager Cluster tamamen kendini toparlandı.