Bell 3개월 ago2024년 03월 01일

2024년 2월 BSN Home Lab 인프라 구성 현황

안녕하세요, 방울입니다.

2024-01-22 에 개인 블로그에 올린 구성(https://blog.softbell.net/675)과 많이 달라지진 않았지만 약간의 변화가 발생하여 추가로 2024-02-07 기준 홈랩 인프라 구성 현황을 공유합니다

우선 랙 구조가 다음과 같이 아주 살짝 변경되었습니다.

기존	변경 (빈 칸은 기존 유지)	비고
모니터 / 1G + 10G 메인 스위치
슬라이딩 선반 – 콘솔 작업용
Intel I7-2600, 8GB * 4 – 예비 장비
Intel I7-8700, 32GB * 4 – 고클럭 워크로드 전용 K8s 워커노드
Dell PowerVault MD1200
Dell PowerEdge R720xd (CPU: E5-2560L v2 * 2, RAM: 혼합 232GB) – 예비 장비	Dell PowerEdge R730xd (CPU: E5-2620 v3 * 2, RAM: 32GB * 12) – TrueNAS Scale	장비 교체
Dell PowerEdge R930 (CPU: E7-8880v4 * 4, RAM: 32GB * 48) – TrueNAS Scale	CPU: E7-8880v4 * 1, RAM: 32GB * 6 – K8s 워커 노드	스케일 다운
Intel G4560 – pfSense 방화벽
Dell S6000 – 40G 스위치	Dell PowerEdge R720xd – K8s 워커 노드 / Dell Optiplex 7050 Micro	장비 교체
UPS

~~자기야, 나 뭐 달라진거 없어?~~

위와 같이 스토리지용 장비가 R720xd LFF 에서 R730xd SFF 로 변경되었으며, 그에 따라 현재 소음으로 인해 예비장비로 대기중인 40G 스위치를 빼고 기존 장비를 배치하였습니다.

R730xd를 추가로 들인 사유는.. R930에 4 CPU를 장착하여 늘어난 PCIe 슬롯에 Kioxia U.2 NVMe 7.68TB SSD 5장을 PCIe 어댑터를 사용하여 개별로 장착하여 사용하고 있었는데,

전기 사용량 절감을 위해 U.2 SSD 4개를 탑재할 수 있는 어댑터로 4개의 SSD를 연결하여 PCIe 16배속 슬롯에 R720xd로 옮겼는데 1개의 SSD만 인식이 되어 PCIe Bifurcation 기능을 활성화하여 4x4x4x4x 설정을 하려 했으나!!!

이럴수가, Dell 12세대인 R720xd 에는 PCIe Bifurcation 를 지원을 하지 않고 13세대부터 가능하다고 하더군요..

어댑터 스펙 상에는 PCIe Bifurcation 기능이 필요하다고 하지 않았으나 증상을 보아하니 해당 기능이 필요한 것으로 확인되어 부랴부랴 중고장터 매물 현황을 확인해가며 대안을 찾아보았는데 최소한의 비용으로 가능한 선택지는 R730xd 를 구매하는 방법밖에 없었기에.. 새 장비를 들이게 되었습니다..

추가로 TrueNAS Scale 스토리지 서버에서 VM 으로 실행 중이던 K8s 제어 노드를 Dell Optiplex 7050 Micro PC 를 3대 구매하여 Proxmox OS 를 올린 뒤 각각 VM 으로 올려주었습니다.

각 노드에는 Rancher (K8s 클러스터 관리용 K8s 클러스터) VM과 메인 쿠버 클러스터 제어를 위한 VM을 띄웠습니다.

추가로 안정적인 클러스터 운영을 위해 메인 클러스터의 VM의 CPU 설정에 cpu 단위 값을 기존 100 에서 1000으로 증가시켜 Rancher용 VM보다 CPU 시간을 약 10배 더 할당 받을 수 있게 조정하였습니다.

근데.. 미니 PC 자체의 한계인지 Rancher 내에서 Helm 릴리즈 신규 배포나 수정을 진행할 때 노드 CPU를 풀로 땡기면서 엄청난 지연이 발생합니다.

이로 인해 Helm 차트 인스톨 버튼을 눌렀는데 계속 버튼에 로딩 상태가 유지되다 웹 UI 상에선 타임아웃으로 설치가 진행되지 않은 것으로 보입니다..

-> 확인해보니 Rancher 페이지를 띄워둔 뒤 한참 동안 유휴 상태에 있다가 작업을 수행하면 cattle-cluster-agent 프로세스가 cpu 자원을 미친듯이 소모하는 이슈인 것으로 보입니다 (https://github.com/rancher/rancher/issues/41663)