[Study36]진짜다시설계하기03/10

> 이전 컨셉

[ 컨셉정리 ]

→ 분리된 데이터 센터 간의 고가용성

1. 데이터 센터가 두 개 있다고 가정합니다.

2. Korea DC와 Japan DC각각 vCenter를 설치해줍니다.

3. 라우터를 통해 두 데이터 센터가 통신할 수 있게 합니다.

4. 스토리지를 물리적으론 떨어져있지만, stretched storage  기술을 통해서 하나의 논리 데이터스토어를 공유하도록 구성해서, 하나의 클러스터 단위로 HA/DRS를 실습한다.

 5. active-active환경을 만들어 HA와 DRS를 실습합니다

 

- 서버하나에 라우터 nic를 각각꼽으면 그게 다른 대역이라고 가정하는것

- Ntp는 koreaDC를 메인으로 본사라고두고, 하나만 둔 뒤 Jeju DC에서 받아오는 식으로 연결

- 트래픽이슈로 , vSan쓰려면 10g 이슈로 메인서버 exsi 하나에 8대의 exsi를 또 올림. 이걸 서버로 한다고 가정.

 

 

[ 서버 스펙 ]

• CPU: Intel Xeon Silver 4114 2.2GHz
• Core: 10
• RAM: 128GB
• NVMe: CT1000T500SSD8 1TB
• SSD: WDC WDS120G 1GO 120GB
• HDD: ST30000DM007-1W 3TB * 2(6TB)

[ 하드웨어 분리 ] 

공유 storage : 

총 메모리 128GB : 

각자 컴퓨터 메모리 : 

cpu  ; 

 

[ 네트워크 분리 ] 

서울 IP대역 : 10.30.x.x/16

제주 IP대역 : 172.30.x.x/16

라우터 WAN: 196.168.30.128,129/25

서울 대역 컴퓨터 IP : 10.30.10.11~31

제주 대역 컴퓨터 IP : 172.30.10.11~31

vCenter Seoul : 10.30.10.200

vCenter Jeju : 172.30.10.200

Nat내부 : 10.30.50.2,           들어오는건 dhcp로받기

DNS : 10.30.40.77 / 10.30.10.77

 

 

 

 

 

[ Vlan 분리 ] 

VLAN 10 - manage Network

서울 DC: 10.30.10.x/24

제주 DC: 172.30.10.x/24

 

VLAN 20 - storage Network

서울 DC: 10.30.20.x/24

제주 DC: 172.30.20.x/24

 

VLAN 30 - vMotion network

서울 DC: 10.30.30.x/24

제주 DC: 172.30.30.x/24

 

VLAN 40 - InterDC network

서울 DC: 10.30.40.x/24

제주 DC: 172.30.40.x/24

 

VLAN 50 - Internet

서울 DC: 10.20.50.x/24

제주 DC: 172.30.50.x/24

 

[ 컨셉정리 ]

→ 분리된 데이터 센터 간의 고가용성

 

1. 데이터 센터가 Korea DC와 Japan DC각각 두 개 있다고 가정합니다.

2.  vCenter를 설치해줍니다.

3. 서버에 exsi하나를 올립니다

4. exsi위에 또 exsi를 쓰면 , 굳이 exsi가 또 올라가요. 어차피 실습하는 환경에서는 처음부터 현업스럽게 가자~는 타협한부분이라, 이부분까지 타협해서

서버가 있다고 치고 다른서버랑 dns,nat와같은 가상환경을 같은 레벨에 두기로합니다.

 5. active-active환경을 만들어져 HA와 DRS를 실습합니다

 

-  vSan쓰려면 10g 이슈로 메인서버 exsi 하나에6대의 exsi를 또 올림. 원래 exsi두대를 각각의 서버로 두고, 그 위에 dns나 nat같은 걸 올릴려고했으나~  굳이 이렇게 하는 이유는, 트래픽이슈 + 한정된 자원 이슈로 

그냥 논리적으로 한대를 올렸다 보고, 실제로는 가상환경으로 exsi와 같은 레벨에 풀어줍니다.

 

 

어려운건 네트워크 할당이긴 해요 ㅠ

 

 

 

1.물리 배선

- 서버 NIC → 물리 스위치

- 관리용 PC/노트북 → 물리 스위치

- 필요하면 인터넷 업링크(공유기/사내망) → 물리 스위치

 

2. Exsi설치

- 젤작은 디스크에 exsi os 설치

- SSD 250G → ESXi 부트 + 최소 로컬 데이터스토어(관리용)

- NVMe 1TB → 주요 VM용 고속 데이터스토어

- HDD 2TB x2 → RAID1 또는 별도 스토리지/NFS용

 

3. 서버 DCUI에서 아래 항목 설정

-Management Network IP 설정

- 서브넷 마스크

- 기본 게이트웨이

- DNS

- Hostname

 

4. HostClient접속

- 데이터 스토어 만들기

 

5. 네트워크 정리

vSwitch0

-Management Network (vmk0)

-필요 시 기본 VM Network

vSwitch1

- VM 서비스망

vSwitch2

- 스토리지망(NFS/iSCSI)

vSwitch3

- vMotion망

 

	Seoul	Jeju
VLAN 01 : Management Network	10.30.10.0/24	172.30.10.0/24
VLAN 20 : Storage Network	10.30.20.0/24	172.30.20.0/24
VLAN 30 : vMotion Network	10.30.30.0/24	172.30.30.0/24
VLAN 40 : Inter-DC Network	10.30.40.0/24	172.30.40.0/24
VLAN 50 : Internet Network	10.30.50.0/24	172.30.50.0/24

 

	Seoul	Jeju
ESXi	10.30.10.101/24	172.30.10.101/24
vCenter	10.30.10.102/24	172.30.10.102/24
DNS	10.30.10.77/24 10.30.40.77/24	172.30.10.77/24 172.30.40.77/24
NAT	10.30.10.1/24	172.30.10.1/24
Storage	10.30.20.40/24	172.30.20.40/24
ESXi-01	10.30.10.10/24 10.30.20.10/24 10.30.30.10/24	172.30.10.10/24 172.30.20.10/24 172.30.30.10/24
ESXi-02	10.30.10.20/24 10.30.20.20/24 10.30.30.20/24	172.30.10.20/24 172.30.20.20/24 172.30.30.20/24
ESXi-03	10.30.10.30/24 10.30.20.30/24 10.30.30.30/24	172.30.10.30/24 172.30.20.30/24 172.30.30.30/24

 

 

 

1. 워크스테이션 exsi에 서울,제주 IPv4 쓰기

- workstation에 이더넷 선 두개 꼽기

- vmk별로 10.30.10.101 / 255.255.255.0 / dns 10.30.10.77 exsi에서 설정 후 

dcui들어가서 vmk1추가하고

 172.30.10.101 / 255.255.255.0 / dns 172.30.10.77설정

 

 

 

1.2. DataStore 만들기

논리적으로 두개지만 하나로 봐서... Main하나만 해주면됩니다.

 

 

 

 

2. 개인노트북으로 워크스테이션이랑 소통되느지 확인

 - 컴퓨터 아이피를 172.30.10.21로바꿔서 10.30.10.101로 ping

 

ㅇㅇ됨

 

 

3. 서울,제주 라우터 설치

- 일단 서울이 다 완성되어야 제주가 되므로 서울에서 셋팅을 완료하고, 서울과 제주 라우터를 연결해서 통신되게 해야합니다

 

라우터는 VyOS사용해줍니다

- 제주,서울 모두가상머신으로 VyOS올리고 셋팅

 

다 디폴트로 하고 재설치하면

https://ssuecandoit.tistory.com/22 참고해서 라우터 ip 셋팅해줍니다

configure
set interfaces ethernet eth0 address 172.30.10.1/24
set interfaces ethernet eth0 description Jeju-VM
set system name-server 172.30.10.77
commit

 

이러면 라우터의 게이트웨이 연결이 됐읍니다

 

 

4. Seoul쪽에서 DNS설정

a. 윈도우 ip를 dns전용 아이피로 설정하기

 

이렇게 dns만들고...

host만들어줍니다 > vCenter용

 

 

그냥 관리용이하게하기위해 두개 만들었어요

 

5. 라우터에 wan스위치 어댑터 추가하기

 

라우터끼리 테이블만연결하면 어디 vm으로갈지모르니까 그냥 리피터용 스위치를 연결해둡니다.

 

configure

set interfaces ethernet eth1 address 192.168.30.130/24
set interfaces ethernet eth1 description Router-VM

set protocols static route 172.30.10.0/24 next-hop 192.168.30.130/24
commit
save

이렇게 wan 인터페이스 추가만해두면 서로 연결되어서 연결이된다이말임 따로 NAt안쓰고

 

이러면 서로 라우터끼리 핑이돼요

jeju피씨에서 서울 피씨로도 핑 가능!!

 

 

# VLAN 01 (Management) - 인터넷 NAT용
set interfaces ethernet eth0 vif 1 address 10.30.10.1/24
set interfaces ethernet eth0 vif 1 description "Seoul-Management"

# VLAN 20 (Storage) - 내부 Only
set interfaces ethernet eth0 vif 20 address 10.30.20.1/24
set interfaces ethernet eth0 vif 20 description "Seoul-Storage"

# VLAN 30 (vMotion) - 내부 Only
set interfaces ethernet eth0 vif 30 address 10.30.30.1/24
set interfaces ethernet eth0 vif 30 description "Seoul-vMotion"

commit
save

 

라우터에서 vlan도 설정해둡니다.

 

 

# 외부 인터넷 인터페이스가 eth1이라고 가정할 때
set nat source rule 100 outbound-interface eth1
set nat source rule 100 source address 10.30.10.0/24  # VLAN 01만 허용
set nat source rule 100 translation address masquerade

# VLAN 20, 30은 NAT 규칙을 만들지 않으므로 자동으로 인터넷이 차단됩니다.
commit

 

이것두 라우터에서 설정해서 nat역할을 하기위한 설정

 

 

 

6. 라우터에 vlan추가

 

기존꺼 삭제하구요 (vlan을위해서)

# 외부 인터넷 인터페이스가 eth1이라고 가정할 때
set nat source rule 100 outbound-interface eth1
set nat source rule 100 source address 10.30.10.0/24  # VLAN 01만 허용
set nat source rule 100 translation address masquerade

# VLAN 20, 30은 NAT 규칙을 만들지 않으므로 자동으로 인터넷이 차단됩니다.
commit

# VLAN 01 (Management) - 인터넷 NAT용
set interfaces ethernet eth0 vif 1 address 10.30.10.1/24
set interfaces ethernet eth0 vif 1 description "Seoul-Management"

# VLAN 20 (Storage) - 내부 Only
set interfaces ethernet eth0 vif 20 address 10.30.20.1/24
set interfaces ethernet eth0 vif 20 description "Seoul-Storage"

# VLAN 30 (vMotion) - 내부 Only
set interfaces ethernet eth0 vif 30 address 10.30.30.1/24
set interfaces ethernet eth0 vif 30 description "Seoul-vMotion"

commit

 

vlan나눠줍니다.

 

그리고 외부 인터페이스 eth2라고 하면

set nat source rule 100 outbound-interface eth2
set nat source rule 100 source address 10.30.10.0/24  # VLAN 01만 허용
set nat source rule 100 translation address masquerade

 

 

 

7. dns서버에 ntp서버도 같이 추가하기

https://mosteasily.tistory.com/48 를 참고해서 만들어줍니다

 

 

8. exsi 전부 올리기

예시로 하나만 보여진모습

<Jeju>

EXSi 01 - 172.30.10.10 

EXSi 02 - 172.30.10.20

EXSi 03 - 172.30.10.30

<Seoul>

EXSi 01 - 10.30.10.10 

EXSi 02 - 10.30.10.20

EXSi 03 - 10.30.10.30

 

전부 다 통신돼요

 

 

 

9. Jeju DNS설정하기

Seoul DNS설정과 똑같이 올리기

 

ntp는 서울꺼 쓰기로했습니다

 

 

10. vCenter올리기

??

 

암튼 vcsa올리는법 https://github.com/Kumin-91/Woori-FISA-Cloud-Engineering-Log/blob/main/03_Lectures_Summary/02_Infra_System/Server_Virtualization/%5B2026.02.26%5D_III_Server_Virtualization_Day_03.md#1-vcenter--vcsa

Woori-FISA-Cloud-Engineering-Log/03_Lectures_Summary/02_Infra_System/Server_Virtualization/[2026.02.26]_III_Server_Virtualizatio

을참고해서 vcsa를 올립니다

 

 

 

11. DataCenter만들기

 

 

12. truenas를 활용하여 isci 연결하기

기존엔 window를 활용하여 연결했지만, 이번엔 trueNas를 활용합니다.

 

vlan 20을 storage로쓰기로했으니 포트그룹만들고

 

trueNas사이트에서 iso이미지를 받아서 가상환경 하나 만들어줍니다

 

 

그러면 이렇게 ipv4넣으라는 환경이나오는데 게이트웨이를 넣어야겠죠

근데 오류나요--> 현재 truenas라 IPv6로되어있어서그런거 ㅇㅇ

ipv4로 해주시고

저기들어가면~?

 

일케떠요 여기서 storage create pool을 해줍니다.

 

그전에 디스크 설정 필수

 

 

200켜서

 

stripe설정해주고 나머지다 스킵

 

dataset만들어주고

 

그다음 share들어가서

wizard로 만들어줍니다

 

이렇게 만들면 끝

 

이제 exsi에 network어댑터 추가를 해주면

 

 

 

 

 

13. 마지막으로 vMotion까지 네트워크 어댑터 추가해서 커널포트 만들어주면

 

 

기본네트워크 설정 끝!!