VMware ESXi를 설치하거나 업그레이드하던 중 “Error 10 (Out of resources)” 메시지와 함께 부팅이 실패하는 상황을 경험해보신 적 있으신가요? 이 문제는 특히 ESXi 7.0 이상 버전에서 자주 발생하는 현상으로, 주로 메모리 리소스 부족이나 BIOS 설정 문제로 인해 발생합니다. 오늘은 이런 골치 아픈 문제를 체계적으로 해결하는 방법들을 살펴보겠습니다.
ESXi “Error 10 Out of resources” 오류는 시스템이 필요한 메모리 리소스를 할당받지 못할 때 발생하는 부팅 실패 현상입니다. VMware는 ESXi 8.0부터 Legacy BIOS 지원을 단계적으로 중단하고 있으며, 이로 인해 기존 BIOS 모드에서는 메모리 제한으로 인한 부팅 실패가 빈번히 발생합니다.
주요 증상으로는 다음과 같은 오류 메시지들이 화면에 나타납니다:
- “Error 10 (Out of resources) while loading module”
- “Requested malloc size failed”
- “No free memory”
- “gzip extract failed for [파일명]”
1. [해결방법] Legacy BIOS에서 UEFI 부팅 모드로 변경
가장 확실하고 효과적인 해결방법은 부팅 모드를 UEFI로 변경하는 것입니다. VMware에서는 이 문제에 대한 공식 해결책으로 UEFI 모드 전환을 권장하고 있습니다.
UEFI 모드 변경 단계
- 서버 재부팅 및 BIOS 진입
- 서버 재부팅 후 F2, Delete, 또는 F12 키를 눌러 BIOS 설정 화면으로 진입합니다.
- Boot Mode 설정 변경
- Boot 메뉴에서 “Boot Mode” 또는 “UEFI/Legacy Boot” 옵션을 찾습니다.
- Legacy 또는 CSM에서 UEFI로 변경합니다.
- Secure Boot 설정 (선택사항)
- UEFI 모드에서는 Secure Boot를 활성화할 수 있습니다.
- 처음에는 비활성화 상태로 설정하여 부팅 테스트를 진행하세요.
- 설정 저장 및 재부팅
- F10 키를 눌러 설정을 저장하고 재부팅합니다.
UEFI 전환의 장점
| 구분 | Legacy BIOS | UEFI |
|---|---|---|
| 부팅 속도 | 느림 | 빠름 |
| 메모리 한계 | 제한적 | 대용량 지원 |
| 보안 기능 | 제한적 | Secure Boot 지원 |
| 파티션 크기 | 2TB 제한 | 9.4ZB 지원 |
2. [해결방법] BIOS 메모리 설정 최적화
UEFI 전환이 불가능한 환경에서는 BIOS의 메모리 관련 설정을 조정하여 문제를 해결할 수 있습니다.
MMCFG (Memory Mapped Configuration) 설정
Cisco UCS C240 M3 서버와 같은 특정 하드웨어에서는 MMCFG 설정을 조정하여 문제를 해결할 수 있습니다.
설정 방법:
- BIOS 설정에서 “PCI Configuration” 메뉴로 이동
- “MMCFG Base” 값을 Auto에서 2GB로 변경
- “Memory Mapped IO above 4G” 옵션을 Enabled로 설정
Above 4G Decoding 활성화
최신 서버에서는 4GB 이상 메모리 디코딩을 활성화해야 합니다.
설정 경로: Advanced → PCI Configuration → Above 4G Decoding → Enabled
3. [해결방법] Thunderbolt 컨트롤러 비활성화
Intel NUC Skull Canyon과 같은 소형 PC에서는 Thunderbolt 컨트롤러가 ESXi 설치 중 리소스 충돌을 일으킬 수 있습니다.
비활성화 절차
- BIOS 설정 진입
- F2 키를 눌러 BIOS 설정으로 들어갑니다.
- Thunderbolt 설정 찾기
- Advanced → Devices → Thunderbolt 또는
- Devices → USB Configuration → Thunderbolt
- 컨트롤러 비활성화
- Thunderbolt Controller를 Disabled로 설정
- 설치 완료 후 재활성화
- ESXi 설치가 완료된 후 필요시 다시 활성화 가능
4. ESXi 버전별 대응 방법
ESXi 8.0 이상 버전
ESXi 8.0부터는 Legacy BIOS 지원이 공식적으로 deprecated되었으며, VMware는 향후 Legacy BIOS 지원을 완전히 중단할 예정입니다.
권장 해결책:
- UEFI 모드로의 완전한 전환
- 하드웨어 호환성 목록 (VMware HCL) 확인
ESXi 6.x 및 7.x 버전
구형 하드웨어에서는 다음 방법들을 시도해보세요:
메모리 할당 조정:
# ESXi 쉘에서 메모리 설정 확인
esxcli system settings kernel list -o heapFreeThreshold
부팅 옵션 추가:
- ESXi 부팅 시 Shift+O 키를 눌러 부팅 옵션 편집
maxLogicalCPUs=8또는mem=4096M같은 제한 옵션 추가
5. 하드웨어별 특별 고려사항
Dell PowerEdge 서버
Dell 서버에서는 다음 설정들을 확인하세요:
- System Profile (시스템 프로필)
- Performance Per Watt (DAPC) → Performance로 변경
- Memory Operating Mode
- Advanced ECC → Optimizer Mode로 설정
- Processor Settings
- Logical Processor → Enabled
- Virtualization Technology → Enabled
HP ProLiant 서버
HP 서버의 경우:
- Power Management (전력 관리)
- Dynamic Power Savings → Static High Performance
- Memory Settings
- Advanced Memory Protection → Advanced ECC
SuperMicro 서버
SuperMicro 보드에서는:
- BIOS 버전 확인
- 최신 BIOS로 업데이트 권장
- CPU Configuration
- Hyper-Threading → Enabled
- Execute Disable Bit → Enabled
6. 문제 해결 시 체크리스트
ESXi “Error 10 Out of resources” 문제를 단계적으로 해결하기 위한 체크리스트입니다:
기본 확인사항
- [ ] 서버 메모리가 최소 4GB 이상인지 확인
- [ ] 하드웨어가 VMware HCL에 포함되어 있는지 확인
- [ ] BIOS/UEFI 펌웨어가 최신 버전인지 확인
부팅 모드 확인
- [ ] 현재 부팅 모드가 Legacy BIOS인지 UEFI인지 확인
- [ ] UEFI 모드로 전환 가능한지 확인
- [ ] Secure Boot 설정 확인 (초기에는 비활성화 권장)
BIOS 설정 최적화
- [ ] MMCFG 설정을 2GB로 변경
- [ ] Memory Mapped IO above 4G 활성화
- [ ] Above 4G Decoding 활성화
- [ ] Thunderbolt 컨트롤러 비활성화 (해당되는 경우)
대안 방법
- [ ] 이전 ESXi 버전으로 설치 후 업그레이드 시도
- [ ] 메모리 모듈 일부 제거 후 설치 테스트
- [ ] USB 설치 미디어 재생성
로그 모니터링
문제 발생 시 다음 로그들을 확인하세요:
# ESXi 쉘에서 부팅 관련 로그 확인
/var/log/boot.gz
/var/log/vmware.log
/var/log/vmkwarning.log
VMware ESXi “Error 10 Out of resources” 문제는 대부분 Legacy BIOS의 메모리 제한으로 인해 발생합니다. 가장 확실한 해결책은 UEFI 모드로 전환하는 것이며, 이것이 불가능한 환경에서는 BIOS 설정 최적화를 통해 문제를 해결할 수 있습니다. 특히 ESXi 8.0 이상 버전을 사용하시는 경우, UEFI 전환은 선택이 아닌 필수가 되고 있습니다. 미리 UEFI 환경으로 전환하여 안정적인 가상화 인프라를 구축하시기 바랍니다.
만약 위의 모든 방법을 시도했음에도 문제가 해결되지 않는다면, 하드웨어 호환성 문제일 가능성이 높으므로 VMware 기술 지원팀에 문의하거나 호환되는 하드웨어로의 교체를 고려해보시길 추천드립니다. 🙂