정보와 지식의 올바른 공유 - http://infoages.com

Qlogic HBA, MPI Heartbeat stop

SN1100Q와 같은 Qlogic HBA의 fw가 "01.73.08"인 상황에서, 아래 패턴의 로그와 함께 운영 중 예기치 않은 포트 다운 또는 리부팅이 발생되는 경우 HBA fw의 오류일 수 있음

Linux
kernel: qla2xxx [0000:11:00.0]-ffff:0: MPI Heartbeat stop. Chip reset needed. MB0[8200h] MB1[100h] MB2[0h] MB3[0h]
kernel: qla2xxx [0000:11:00.0]-d013:0: MPI Heartbeat stop. FW dump needed
kernel: qla2xxx [0000:11:00.0]-d011:0: -> fwdt0 running...
kernel: qla2xxx [0000:11:00.1]-ffff:2: MPI Heartbeat stop. Chip reset needed. MB0[8200h] MB1[0h] MB2[0h] MB3[0h]
kernel: qla2xxx [0000:11:00.1]-00af:2: Performing ISP error recovery - ha=ffff92febd43c000.
kernel: qla2xxx [0000:11:00.0]-d011:0: -> fwdt1 running...
kernel: qla2xxx [0000:11:00.0]-d015:0: -> Firmware dump saved to buffer (0/ffffafa3b3ff1000) <7>
kernel: qla2xxx [0000:11:00.0]-00af:0: Performing ISP error recovery - ha=ffff92feb53e4000.
kernel: qla2xxx [0000:11:00.1]-0075:2: ZIO mode 6 enabled; timer delay (200 us).
kernel: qla2xxx [0000:11:00.1]-ffff:2: FC4 priority set to NVMe
kernel: qla2xxx [0000:11:00.0]-0075:0: ZIO mode 6 enabled; timer delay (200 us).
kernel: qla2xxx [0000:11:00.0]-ffff:0: FC4 priority set to NVMe

VMware
cpu0:2955620)WARNING: qlnativefc: vmhba1(12:0.0): MPI Heartbeat stop. Chip reset needed. MB0[8200h] MB1[100h] MB2[0h] MB3[0h]
cpu0:2955620)WARNING: qlnativefc: vmhba1(12:0.0): MPI Heartbeat stop. FW dump needed
cpu0:2955620)qlnativefc: vmhba1(12:0.0): Attempting to take firmware dump
cpu16:2955621)WARNING: qlnativefc: vmhba2(12:0.1): MPI Heartbeat stop. Chip reset needed. MB0[8200h] MB1[0h] MB2[0h] MB3[0h]
cpu78:66253)qlnativefc: vmhba2(12:0.1): Inside qlnativefcAbortIsp
cpu78:66253)qlnativefc: vmhba2(12:0.1): Performing ISP error recovery - ha= 0x430811132010.
cpu8:66252)qlnativefc: vmhba2(12:0.1): qlnativefcUnregSess sess 0x43081113c7d0 for deletion 50:06:0e:80:12:3c:fd:02

Action Plan
What: 1) HBA fw를 1.75.07로 업그레이드
         2) 운영 중인 OS에 맞춰 HBA driver 업그레이드 (VMW 환경에서 필수)

             - VMw 6.5 drv 2.1.101.0 or higher
             - VMw 6.7 drv 3.1.46.0 or higher

             - VMw 7.0 drv 4.1.22.0 or higher

             - RHEL 7.8~ drv 10.02.01.00.a14-k1 or higher

             - RHEL 8.2~ drv 10.02.01.00.a14-k1 or higher

             - SLES12 sp4~ drv 10.02.01.00.a14-k1 or higher

             - SLES15 sp1 drv 10.02.01.00.a14-k1 or higher

Workaround: Cold reboot 후 포트가 다시 활성화 되나, 패치 전까지 증상은 잠재된 상태일 수 있음

iLO5/CPU 온도 표시 개선

환경:

iLO 5를 사용하는 HPE ProLiant System

증상:

HPE 시스템에서, iLO(IPMI)와 OS(MSR)의 측정 값이 다름:

	The third-party software read 74 degree value by CPU - OS 상의 Tool은 cpu의 MSR(Model specific register, Intel에서 정의한 cpu type에 따라 다른 정의된 정보를 갖는 레지스터) 정보를 접근 및 취합하여 보여줌 - 해당 값은 조회 당시의 순간(찰나)적인 값으로, cpu 운용 상황에 따라 매우 가변적
	iLO(ipmi) read 56 degree value by CPU - iLO 상의 온도 값은 Intel ME(Management Engine)를 통해 접근 및 취합하여 보여줌. - Intel ME를 통해(Intel이 가이드하고 있는 냉각 방식에 맞춰), cpu 관련 여러 센서의 정보를 취합하고 냉각을 제어

원인:

CPU 온도는 CPU에 위치한 DTS(Digital Temperature Sensors)를 참조하게 됨.

- OS 상의 Tool(e.g. lm-sensors)은 cpu의 MSR(Model specific register, Intel에서 정의한 cpu type에 따라 다른 정의된 정보를 갖는 레지스터) 정보를 접근 및 취합하여 출력함.

-- 해당 값은 조회 당시의 순간(찰나)적인 값으로, cpu 운용 상황에 따라 매우 가변적인 정보임

- iLO 상의 온도 값은 Intel ME(Management Engine)를 통해 접근 및 취합하여 출력함.

-- Intel ME를 통해(Intel이 가이드하고 있는 냉각 방식에 맞춰), cpu 관련 여러 센서의 정보를 취합하고 냉각을 제어.

Intel CPU는 각 processor 별로 임계 온도가 다름.

- HPE ProLiant는 cpu 별로 모두 다른 임계 온도를 정규화하는 작업을 진행했고, 임계치는 최고 70C로 고정.

-- 이에, 취합된 온도의 변환이 필요하고, iLO에서 표시되는 온도는 변환된 값임

-- 이 과정에 OS에서 측정한 온도와 iLO에서 표시하는 온도 사이에 온도 차이가 발생됨.

개선사항:

HPE는 HPE 고유의 냉각 방식으로 인한 혼돈을 해소하고자, PECI bus에서 정보를 얻는 CPU의 Package Temperature Sensor를 추가.

- 관련 기능은 System ROM과 iLO의 연계 동작임에, 전반적인 관리가 필요함.

- Intel System의 경우, System ROM 외 Innovation Engine(IE)/Server Platform Service(SPS)가 함께 관리 필요함

Action Item 1.

What: 1) Upgrade System ROM to Latest (Gen10: 2.50 이상 / Gen10 plus: 여러 세대가 존재하여 최신 권고)

         2) Upgrade IE/SPS to Latest (Intel only)

         3) Upgrade iLO fw to Latest (Gen10: 2.55 이상 / Gen10 plus: 2.41 이상)

Why: CPU 온도 표시에 따른 혼란을 해소하기 위해

What if/Next: 해당하지 않음

Appendix.

Sensor 02: iLO의 기본 Sensor로 CPU 온도가 40C 미만임에 따라, 40C 표시

Sensor 96: CPU의 MSR이 감지한 온도로, 26C 표시

Note. CPU pkg Sensor 번호는 System 마다 다를 수 있음

참고자료:
- Intel Xeon Scalable Processors Thermal/Mechanical Specifications and Design Guide
- Intel CPU Monitoring with DTS/PECI

HPE Oneview - Lifecycle (Release and End of Support(EOS))

HPE OneView 5.4 and 6.0 are milestone releases and must be updated to before updating to a subsequent release. A milestone release is a release with enhanced update architecture which will deliver faster and more reliable updates. Milestone releases are expected two to three releases apart.

** EOS = End of Support (EOS) defines the last day where a patch may be available for a release.

NOTE. For a version that is in the "End of Support" phase, HPE Pointnext will continue to take calls from the users with active support contracts, but there will be no new fixes provided for this release.

참조문서:

Notice: HPE OneView - Product Lifecycle and Additional Resources
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-a00117617en_us

https://support.hpe.com/hpesc/public/docDisplay?docLocale=en_US&docId=c05148671

https://support.hpe.com/hpesc/public/docDisplay?docLocale=en_US&docId=a00111768en_us

a00114638en_us: End-of-Support (EOS) for HPE OneView 5.0
a00078123en_us: End-of-Support (EOS) for HPE Synergy Composer (HPE OneView) / HPE Synergy Image Streamer 4.00 

연관문서:
HPE OneView Global Dashboard - Product Lifecycle and Additional Resources
https://support.hpe.com/hpesc/public/docDisplay?docId=a00029022en_us&docLocale=en_US

HPE OneView Partner Integration Lifecycle
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-a00054225en_us

Test System:

DL380 Gen9+VMware ESXi 6.5 u2

Test device - 331x NIC.

HPE Broadcom NX1 Online Firmware Upgrade Utility for VMware
1.28.6 (19 Apr 2021)
https://support.hpe.com/hpesc/public/swd/detail?swItemId=MTX_648f0b90d7c2438b82851940e2#tab2

[root@DL380G9P5U25:/tmp/CP045013] ls
CP045013.vmexe          CP045013.vmfile         CP045013_BUILD_13.data  payload.json
CP045013.vmexe64        CP045013.xml            CP045013_VMw.zip

[root@DL380G9P5U25:/tmp/CP045013] pwd
/tmp/CP045013
[root@DL380G9P5U25:/tmp/CP045013] esxcli software vib install -d /tmp/CP045013/CP045013_VMw.zip
Installation Result
   Message: Operation finished successfully.
   Reboot Required: false
   VIBs Installed: HPE_bootbank_CP045013_1.28.6.13-7.0.0.15843807
   VIBs Removed:
   VIBs Skipped:
[root@DL380G9P5U25:/tmp/CP045013]

> 압축 해제 (아직 미설치...)

[root@DL380G9P5U25:/opt/Smart_Component/CP045013] pwd
/opt/Smart_Component/CP045013

[root@DL380G9P5U25:/opt/Smart_Component/CP045013] ls
CP045013.vmcfg          ESXi_6.5                Execute_Component       hpsetup                 nic_fw
CP045013.xml            ESXi_6.7                determine_which_OS.sh   libbrcm_bmapi.so.6      release.txt
CP045013_BUILD_13.data  ESXi_7.0                flash.so                libbrcm_hpfwupg.so

[root@DL380G9P5U25:/opt/Smart_Component/CP045013] ./hpsetup

===============================================================
HPE Broadcom NX1 Online Firmware Upgrade Utility for VMware
Version: 1.28.6

Performing Discovery operation......Please be patient..

Selecting HPE Ethernet 1Gb 4-port 331i Adapter MAC: 3cA82A21436C
*** WARNING *** - Installed nvm is the same version as selected nvm.
Update nvm 20.18.31 to 20.18.31 y/n/q (n):n
> 요 단계가 실제 설치 단계

다른 방법으로는, CP045013.vmexe 파일에 실행 권한을 주고, 설치.

[root@DL380G9P5U25:/tmp/CP045013] chmod +x CP045013.vmexe

[root@DL380G9P5U25:/tmp/CP045013] ls
CP045013.vmexe          CP045013.vmfile         CP045013_BUILD_13.data  payload.json
CP045013.vmexe64        CP045013.xml            CP045013_VMw.zip

[root@DL380G9P5U25:/tmp/CP045013] ./CP045013.vmexe
OS Version found  [6.5.0]

===============================================================
HPE Broadcom NX1 Online Firmware Upgrade Utility for VMware
Version: 1.28.6

Performing Discovery operation......Please be patient..

Selecting HPE Ethernet 1Gb 4-port 331i Adapter MAC: 3cA82A21436C
Update nvm 20.16.31 to 20.18.31 y/n/q (y):y


Firmware update in progress......It will take a while....Please be patient..

Please reboot for the firmware flash to complete.

[root@DL380G9P5U25:/tmp/CP045013]

증상: IML: Smart Storage Battery pre-failure (Battery 1)

Q. SSB의 pre-failure를 감지 및 표시 할 수 있는 iLO의 버전은?
A. iLO 4: v2.55 / iLO 5: Any version

Q. SSB의 pre-failure 발생 시, backup power의 상태는 어떠한지?
A. 정상 동작 상태
   SSB pre-failure는 실시간 감시에 따른 검출 기능으로, 로그 발생 시점 기준으로 정상 동작 상태이나,

   SSB 상태가 장애로 분류(마크)되는 이전 상태로 교체가 필요한 상태
   HPE는 증상 발생 후 한 주 이내 교체를 권장.

Note. pre-failure는 SSB 내부에 2개 배터리 셀이 존재하며, 각 셀의 충전 레벨이 서로 달라지는 상태를 감지함


참고문서:
Notice: (Revision) HPE Smart Storage Battery – Battery Pre-Failure Capability Available With HPE Integrated Lights Out (iLO) 4 Firmware Version 2.55
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-a00026525en_us

Notice: (Revision) HPE Smart Storage Batteries - How To Determine If a 12W And 96W HPE Smart Storage Battery Needs To Be Replaced
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-a00069090en_us