iLO 4/iLO 5를 사용하는 Gen8 또는 Gen9 시스템 운영 중 점검이 필요하여 AHS 로그를 취합 하려 할 때, 아래 이벤트를 경험하며 취합이 안되는 경우를 경험할 수 있다.
Symptom : 아래 중 한 개 이상의 정보가 확인됨
iLO Diagnostic Page - iLO Self-Test Results에 아래 중 한 개의 메시지 출력
- Controller firmware revision 2.09.00 Embedded media manager failed media attach
- Controller firmware revision 2.10.00 Embedded media manager failed media attach
- Embedded Flash/SD-CARD : <Status Caution> Controller firmware revision 2.10.00 Could not partition embedded media device
AHS download page - <Status Information>에 아래 중 한 개의 메시지 출력
- AHS Data is unavailable due to file system issue.if the ilo has been recently reset wait a few minutes and then press the Refresh button at the bottem of this page to reload.
- Active Health System Log is inaccessible because it is being used by another application.
iLO log에 아래 중 한 개 이상의 메시지 출력
- Embedded Flash/SD-CARD: Embedded media manager failed media attach.
- Embedded Flash/SD-CARD: Embedded media manager failed initialization.
- Embedded Flash/SD-CARD: Failed restart..
- Embedded Flash/SD-CARD: The AHS file system mount failed with (I/O error)
POST message에 아래 메시지 출력
- POST Error: 338-HP RESTful API Error - Unable to communicate with iLO FW. BIOS configuration resources may not be up-to-date.
POST 중 IP(Intelligent Provisioning)에 접근 불가 (비활성화)
시스템 운영에 직접적인 영향을 주지 않으며, 증상 확인 후 적절한 다운 타임 일정을 고려하여 조치할 수 있음.
Analysis :
ISSUE 1. Embedded Flash/SD-CARD
ISSUE 2. POST Error: 338-HPE RESTful API Error - Unable to communicate with iLO FW
iLO 및 IP 등이 공통으로 사용하는 시스템 내부에 있는 NAND Flash Media에 일시적인 접근 오류/실패를 겪거나,
해당 부품에 장애가 있는 경우 발생
Action Plan 1.
What: 1) Remove the power from the server.(잔류 전원 제거)
What: 2) Upgrade iLO fw to latest. (+format NAND as Optional)
What: 3) Clear NVRAM
What if / next: A/P 2 수행
To do.
1) 전원 코드 분리하여 잔류 전원 제거 – 3분 이상 전원 제거 상태로 유지 후 재연결
2) iLO fw 최신 버전 적용
- iLO Diagnostics page에 format button 활성화 시 수행(Optional, 필요한 경우만 활성화 됨)
3) 전원 종료 후 NVRAM 초기화 진행
Gen8/Gen9: System Board 상의 System Maintenance Switch #6 - Deep switch 이용
Gen10: BIOS의 "Set Default" 메뉴 이용
4) 전원 인입
Action Plan 2.
What: 1) RESTAPI 상태 초기화
What: 2) Format embedded NAND media (format button 비활성화 시 강제 수행 방법)
What: 3) Upgrade IP to 1.71 (Gen8) / 2.81 (Gen9) / 3.45 (Gen10)
What if / next: 해당하지 않음(N/A)
To do.
1) putty등의 툴을 통해 iLO CLI 로 접속 후 아래 명령 수행
ilo> oemhp_clearRESTAPIstate
2) 첨부 Script(“Force_Format.xml”, Web에서 제공되는 Script와 동일)이용하여 미디어 포맷 수행
Windows:
C:\Program Files (x86)\Hewlett-Packard\HP Lights-Out Configuration Utility>
C:\> hpqlocfg –s <%iLO IP Address%> –l C:\hpqcfg.log –f C:\Force_Format.xml -v -t user=<%Administrator%>, password=<%password%>
C:\> hpqlocfg.exe -s <%iLO IP Address%> -l C:\hpqcfg.log -f C:\temp\Force_Format.xml -v -u <%Administrator%> -p <%password%>
(버전에 따라, 파라메터가 다를 수 있음)
Linux:
/sbin/hponcfg –s <%iLO IP Address%> –l /tmp/hpqcfg.log –f /tmp/Force_Format.xml -v -t user=<%Administrator%>, password=<%password%>
NOTE: Command line 및 XML 파일 내부의 계정 정보 수정 필요
HP Lights-Out Configuration Utility
5.2.0(5 Feb 2018)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_8abe539b67bf46978e8f84acb8
HP Lights-Out Online Configuration Utility for Linux AMD64/EM64T)
5.2.0-0(5 Feb 2018)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_cd237410ce0d40e6b217f8dbcd
3) IP 복원 미디어로 부팅하여 IP 업그레이드/복원 수행
Intelligent Provisioning for Gen8 Servers
1.71(21 Feb 2019)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_a2b2caf8066e4a8b82a966d628#tab-history
Intelligent Provisioning for Gen9 Servers
2.81(29 Jul 2020)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_74171d1cdcbc448baa4cd78500
Intelligent Provisioning Recovery Media for Gen10 and Gen10 Plus
3.45(29 Jul 2020)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_d508a93be3eb424c8306e0ebea
4) 상태 확인
Note: 적용되는 버전은 해당 시점의 최신이 권장됨
Note: XML file
Force_Format.zip참고 문서:
Advisory: (Revision) HPE Integrated Lights-Out 4 (iLO 4) - HPE Active Health System (AHS) Logs and HPE OneView Profiles May Be Unavailable Causing iLO Self-Test Error 8192, Embedded Media Manager and Other Errors
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-c04996097
Advisory: (Revision) HPE Integrated Lights-Out 4 (iLO 4) - How to Format the NAND Used to Store AHS logs, OneView Profiles, and Intelligent Provisioning
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-a00048622en_us
