정보와 지식의 올바른 공유 - http://infoages.com

iLO 4를 사용하는 Gen8 또는 Gen9 시스템 운영 중 점검이 필요하여 AHS 로그를 취합 하려 할 때, 아래 이벤트를 경험하며 취합이 안되는 경우를 경험할 수 있다.

Symptom : 아래 중 한 개 이상의 정보가 확인됨

iLO Diagnostic Page - iLO Self-Test Results에 아래 중 한 개의 메시지 출력

- Controller firmware revision 2.09.00 Embedded media manager failed media attach

- Embedded Flash/SD-CARD : <Status Caution> Controller firmware revision 2.10.00 Could not partition embedded media device

AHS download page - <Status Information>에 아래 중 한 개의 메시지 출력

- AHS Data is unavailable due to file system issue.if the ilo has been recently reset wait a few minutes and then press the Refresh button at the bottem of this page to reload.

- Active Health System Log is inaccessible because it is being used by another application.

iLO log에 아래 중 한 개 이상의 메시지 출력

- Embedded Flash/SD-CARD: Embedded media manager failed media attach.

- Embedded Flash/SD-CARD: Embedded media manager failed initialization.

- Embedded Flash/SD-CARD: Failed restart..

- Embedded Flash/SD-CARD: The AHS file system mount failed with (I/O error)

POST message에 아래 메시지 출력

- POST Error: 338-HP RESTful API Error - Unable to communicate with iLO FW. BIOS configuration resources may not be up-to-date.

POST 중 IP(Intelligent Provisioning)에 접근 불가 (비활성화)

시스템 운영에 직접적인 영향을 주지 않으며, 증상 확인 후 적절한 다운 타임 일정을 고려하여 조치할 수 있음.

Analysis :

ISSUE 1. Embedded Flash/SD-CARD

ISSUE 2. POST Error: 338-HPE RESTful API Error - Unable to communicate with iLO FW

iLO 및 IP 등이 공통으로 사용하는 시스템 내부에 있는 NAND Flash Media에 일시적인 접근 오류/실패를 겪거나,

해당 부품에 장애가 있는 경우 발생

Action Plan 1.

What: 1) Upgrade iLO fw to v2.61 (or later)

What: 2) Clear NVRAM (System Board 상의 System Maintenance Switch #6 이용)

What: 3) Remove the power from the server.(잔류 전원 제거)

What: 4) RESTAPI 상태 초기화

What: 5) Format embedded NAND media

What: 6) Upgrade IP to 1.70 (Gen8) / 2.70 (Gen9)

Who: CE

When: 고객사 일정에 맞춰 가능한 때,

Why: 오동작에 의한 시스템 장애를 해소하기 위해

What if / next: A/P 2 수행

To do.

1) iLO fw 2.61 적용

Online ROM Flash Component for Linux - HPE Integrated Lights-Out 4

2.61(6 Aug 2018)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_fa40c1bfdb924daf87a10fa810
 

2) 전원 종료 후 NVRAM 초기화 진행(System Board 상의 System Maintenance Switch #6 - Deep switch 이용)

3) 전원 코드 분리하여 잔류 전원 제거 – 3분 이상 전원 제거 상태로 유지 후 재연결

4) putty등의 툴을 통해 iLO CLI 로 접속 후 아래 명령 수행

ilo> oemhp_clearRESTAPIstate

5) 첨부 Script(“Force_Format.xml”, Web에서 제공되는 Script와 동일)이용하여 미디어 포맷 수행

Windows:

C:\Program Files (x86)\Hewlett-Packard\HP Lights-Out Configuration Utility>

C:\> hpqlocfg –s <%iLO IP Address%> –l  C:\hpqcfg.log –f C:\Force_Format.xml -v -t user=<%Administrator%>, password=<%password%>

Linux:

/sbin/hponcfg –s <%iLO IP Address%> –l /tmp/hpqcfg.log –f /tmp/Force_Format.xml -v -t user=<%Administrator%>, password=<%password%>

NOTE: Command line 및 XML 파일 내부의 계정 정보 수정 필요

HP Lights-Out Configuration Utility

5.2.0(5 Feb 2018)

https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_8abe539b67bf46978e8f84acb8

HP Lights-Out Online Configuration Utility for Linux AMD64/EM64T)

5.2.0-0(5 Feb 2018)

https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_cd237410ce0d40e6b217f8dbcd

6) IP 복원 미디어로 부팅하여 IP 업그레이드/복원 수행

Intelligent Provisioning for Gen8 Servers

1.70(9 Oct 2017)

http://h20565.www2.hpe.com/hpsc/swd/public/detail?swItemId=MTX_67851618d0f1444993f262f0f6#tab5

Intelligent Provisioning for Gen9 Servers

2.70(b)(28 Feb 2018)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_170e0ac3cb6e4439bf313f137a#tab-history

7) 상태 확인

Note: XML file

Force_Format.zip

PMEM(Persistent Memory)가 무엇인지...

PMEM은 메모리 속도를 이용하고자 하는 스토리지(Storage, 저장장치) 기술이다.

저장 장치들의 기술이 발전함에 따라 그 I/O 속도도 비약적으로 빨라지고 있다.

하지만, 아직 CPU의 속도에 절대적으로 이르지 못한다. (너무도 부족하다)

PMEM은 그러한 속도를 극복해 보고자, CPU에 가장 근접한 외부 장치인 메모리 I/O 기술을 이용한 저장장치 기술이다.

(System에 말그대로 Disk(Storage)로 인식된다)

HPE에서는 PMEM 제품을 2가지 라인업으로 제공하고 있다.

(아직 시장에 공급되지 않은 3D Xpoint가 추가되면 3가지로 ...)

첫 번째가 NVDIMM이다.

NVDIMM은 일반 DIMM에 NAND Flash를 추가한 것으로 이해할 수 있다.

평상시는 주전원을 통해 일반 DIMM 처럼 IO가 발생되고, 비정상적인 시스템 종료가 발생되면,

백업 전원을 통해 DRAM의 자료가 NAND Flash로 복제 저장된다.

이 후 전원이 복원되면 NAND Flash에 저장된 데이터를 복원할 수 있다. (기능을 제공한다)

백업 전원의 경우, HPE는 Smart Storage Battery를 통해 지원한다.

그러나, NVDIMM은 용량이 작고, 매우 고가이다.

사용하고자 하는 용량이 클수록 초기 도입 비용이 장벽이 될 수 있다. (상대적 ...)

두 번째가 HPE에서 제안하는 Scalalbe Persistent Memory 기능이다.

(현기준 DL380 Gen10만 지원하고, 다른 모델도 추 후 지원할 예정)

NVDIMM의 구조(Architecture)를 풀어 놓은 것으로 이해할 수 있다.

일반 DIMM 중 일부를 PMEM으로 지정하여 저장장치로 사용한다(기능을 제공한다)

NVDIMM의 NAND Flash를 NVMe Disk가, Backup 전원을 PSU에 포함된 Battery가 대체한다.

일반 DIMM을 사용하기 때문에 큰 용량 DIMM을 활용할 수 있어, 상대적으로 초기 도입 비용 및 증설이 용이하다.

이 기능을 사용하기 위해서는 세 가지 필수 부품이 필요하다.

- HPE System과 HPE Smart Memory

  (현기준 64GB DIMM까지 지원하고, 128GB는 지원하지 않음)

- HPE Battery Backed Power Supply Unit

- NVMe Disk

현 기준: 2018 Sept.

참고자료
HPE Persistent Memory for HPE ProLiant Servers
https://h20195.www2.hpe.com/v2/getdocument.aspx?docname=4aa6-4680enw

HPE Scalable Persistent Memory User Guide

https://support.hpe.com/hpsc/doc/public/display?docId=emr_na-a00038915en_us

Intel Microprocessor 보안 취약 이슈

이슈 및 원인

Foreshadow

CVE-2018-3615 - L1 Terminal Fault – SGX

Foreshadow-Next Generation(NG)

CVE-2018-3620 - L1 Terminal Fault - OS, SMM

CVE-2018-3646 - L1 Terminal Fault - VMM

Intel Software Guard Extensions (SGX) 기능은 Intel에서 2015년경 Skylake platform에 적용한 보안 관련 기능으로, Firmware 통해, 특정 Application에서 사용 중인 Data를 다른 Application에서 침입할 수 없도록(Sandbox 역할) 해주는 기능.

기존에 알려진, Meltdown 및 Spectre 공격을 통하더라도, SGX로 보호된 영역은 침투할 수 없었음(다고함...)

그러나, Foreshadow 공격은, Intel CPU의 투기적 예측 실행(speculative execution side channel vulnerabilities)을 이용하여, 임의의 Termial fault를 일으키고, 이를 악용하여, L1 Data cache를 접근하는 것으로, SGX로 보호되어 Meltdown (캐시 메모리 주소를 임의로 특정하여, 접근하고, 해당 영역의 메모리 내용(Data)에 접근)으로 공격이 실패 했을 때도, 해당 L1 캐시의 영역을 SGX로 보호되지 않는 영역으로 임의적 복제 및 우회 접근하여 데이터를 접근 가능한 것으로 확인됨.

Foreshadow-Next Generation(NG) 공격은, Foreshadow 공격을 조사 중에 추가 확인된 보안 취약점으로, 역시 Terminal fault를 임의로 일으킨 뒤, L1 Data Cache 영역을 임의로 접근하여 다른 Application의 정보를 접근하는 공격이다.

이 공격은 기존 Meltdown 및 Spectre 패치를 적용했다고 해도, 방어할 수 없기에 추가적인 OS 측의 패치가 필요함.

이 취약점으로 공격이 가능한 항목은,

System Management Mode (SMM) – 일반적으로 BIOS와 OS가 상호 접근/동작하는 SW 영역

Operating System, or hypervisor (VMM) – OS 및 VM

본 공격을 예방 조치 하기 위해서는, 최신 버전의 Microcode와 OS 패치를 적용 하는 것이다.

예를 들자면, App 1이 CPU를 사용하다 App 2가 사용하기 전, L1 캐시를 플러시(삭제)하여, 다음 동작 App이 기존 L1 Data를 접근할 수 없도록 하는 것.

CPU의 Ownership을 드물게 교체하는 경우, 예상되는/발생되는 Overhead는 미미할 것으로 예측되나, 반대로 자주 교체하는 상황인 경우, 각 App이 CPU를 점유할 때, L2 캐시로부터 L1으로 자료를 로드하고, 동작 후 CPU를 release 할 때, L1 캐시를 삭제하는 상황이 반복 될 수 있겠다.

Intel의 Hyper-Threading (HT) 기능은 Simultaneous Multi-Threading (SMT)의 한 형태로, 여러 App이 동시에 실행되어 실행 시간을 단축(성능 향상)할 수 있도록 해주는 기술이다.

하지만, 이 SMT 기능은, 동일 CPU를 사용하는 App 간에 L1 Data Cache를 공유하게 되어, 현재 이슈가 되고 있는 보안 취약점에 노출 될 수 있다.

일부 최신 Hypervisor/OE는 이미 코어 스케쥴링 기능을 포함하고 있으며, SMT 환경에서, App 또는 VM간에 CPU를 공유하지 않도록 격리 하는 것으로 이해하면 된다.

코어 스케쥴링을 지원하지 않고, 다뤄지는 정보가 민감한 시스템이라면 SMT 기능 자체를 사용하지 않을 수 있다.

(위에 언급한 사유로 성능 저하에 많은 영향을 줄 수 있다)

Foreshadow의 조치 방안은 적용 시 고객 솔루션 성능에 영향을 줄 수 있는 항목들이 많기에, OS 제조사/지원사와 충분히 검토 후 필요한 조치가 적용되어야 한다.

환경

·    Server : Intel에서 제조한 Microprocessor를 사용하는 현존 대부분의 ProLiant 서버

HPE 보안 게시판:

Bulletin: HPE ProLiant, Synergy, and Moonshot Systems – L1 Terminal Fault – SGX (CVE-2018-3615), L1 Terminal Fault – OS, SMM (CVE-2018-3620), L1 Terminal Fault – VMM (CVE-2018-3646) Security Vulnerabilities

https://support.hpe.com/hpsc/doc/public/display?docId=emr_na-a00053708en_us

Impacted Server 부분 목록 참조

참고) 본 이슈는 AMD 프로세서는 해당되지 않음

참고) 현 기준 아이태니엄 프로세서 및 Phi 7200 시리즈 프로세서는 해당되지 않음

참고) 현 기준 L1 Terminal Fault – SGX 이슈는 m710x 서버 카트리지 (Moonshot or EdgeLine) 외 해당되지 않음

        (다른 ProLiant 시스템들은 SGX 기능을 사용하지 않음)

참고) 영향 받는 CPU 목록은 아래 위치 참고. (영향을 받는 부품은 지속 업데이트 중으로 변경될 수 있음)

Affected products:

https://www.intel.com/content/www/us/en/security-center/advisory/intel-sa-00161.html

솔루션

문제 보완/해소를 위해 OS 및 하드웨어 패치를 함께 진행해야 함

HPE recommends installing mitigations to these security vulnerabilities for impacted products.

This includes updating to the revision of the System ROM that includes the Intel microcode that supports mitigation of these vulnerabilities as well as updating the OS and/or Hypervisor with a revision that supports mitigation.

Updated System ROMs including the Intel microcode that supports mitigation of these vulnerabilities are already available for all HPE ProLiant, Synergy, and Moonshot platforms impacted by these vulnerabilities.

Gen10, 수정된 1.42 버전이 발표됨

Gen9, 수정된 2.60 버전이 발표됨

G6 - Gen8, 수정된 버전(5/21/2018)이 발표됨

Action Item 1.

What: 운영 중인 시스템의 최신 System ROM(BIOS) 적용

Action Item 2.

What: 현재 운영 중인 OS의 관련 패치 확인 및 적용

To do.

상세 패치 정보는 아래 각 OS 제조사의 패치 Page를 통해 확인 가능함

(변경될 수 있기에 적용 전, 아래 Page를 통해 또는 OS 지원사를 통해 최신 패치 정보의 확인을 권장)

RHEL

L1TF - L1 Terminal Fault Attack - CVE-2018-3620 & CVE-2018-3646

https://access.redhat.com/security/vulnerabilities/L1TF

CVE-2018-3615

https://access.redhat.com/security/cve/cve-2018-3615

SLES

Security Vulnerability: "L1 Terminal Fault" (L1TF) aka CVE-2018-3615, CVE-2018-3620 & CVE-2018-3646

https://www.suse.com/support/kb/doc/?id=7023077

Windows Server guidance to protect against L1 terminal fault

https://support.microsoft.com/en-us/help/4457951/windows-server-guidance-to-protect-against-l1-terminal-fault

ADV180018 | Microsoft Guidance to mitigate L1TF variant

https://portal.msrc.microsoft.com/en-us/security-guidance/advisory/adv180018

VMware vSphere, Workstation, and Fusion updates enable Hypervisor-Specific Mitigations for L1 Terminal Fault - VMM vulnerability.

https://www.vmware.com/security/advisories/VMSA-2018-0020.html

주)

Green (0x8001c000)

# ipmitool -I lanplus -H iLO_IP_Address -U Admin_Account -P Password raw 4 0x2d 0x02

 00 c0 01 80

Amber (0x8002c001)

# ipmitool -I lanplus -H iLO_IP_Address -U Admin_Account -P Password raw 4 0x2d 0x02

01 c0 02 80

Red (0x8004c002)

# ipmitool -I lanplus -H iLO_IP_Address -U Admin_Account -P Password raw 4 0x2d 0x02

02 c0 04 80

Byte 4 decode

refer.

HP ProLiant Servers - With Integrated Lights-Out 2/3/4; LED Information Gathered via IPMI is Not Consistent

https://support.hpe.com/hpsc/doc/public/display?docId=mmr_kc-0109788

The “UID Light” has a sensor type OEM LED (0xC0) and EventReadingTypeCode = UID: (0x70)

0x0001 = On.

0x0002 = Off.

0x0004 = Blinking.

The “Sys. Health LED” has a sensor type OEM LED (0xC0) and EventReadingTypeCode = HealthLED: (0x71)

0x0001 = Green.

0x0002 = Amber.

0x0004 = Red.

참고. http://infoages.com/1869?category=319414

Get current iLO license key (use Web Browser)

https://<ilo-ipaddress>/xmldata?item=CpqKey

Update/Install iLO License key (use putty, connect to iLO)

</>hpiLO-> set /map1 license=ABCDEFGHIJKLMNOPQRSTUVWXY

Delete an iLO license key

HPQLOCFG.exe -s IP_ADDRESS -f rm_license.xml -u administrator -p password

HP Lights-Out Configuration Utility
4.23(25 May 2018)
https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_8ecea286efa34adfb79bcbb697

C:\Program Files (x86)\Hewlett-Packard\HP Lights-Out Configuration Utility

rm_license.xml
--------------------------------
<RIBCL VERSION="2.0">
  <LOGIN USER_LOGIN="Administrator" PASSWORD="Password">
  <RIB_INFO MODE="write">
    <LICENSE>
      <DEACTIVATE/>
    </LICENSE>
  </RIB_INFO>
  </LOGIN>
</RIBCL>
--------------------------------

Need to change for Admin Credential Information