IPSec 모드와 프로토콜

IPsec(IP Security)은 인터넷 구간에서 데이터를 안전하게 주고받기 위해 패킷을 보호하는 네트워크 계층(L3) 보안 프로토콜이다. IPsec을 이해하려면 1) 어디까지 보호할 것인가(동작 모드)와 2) 어떤 방식으로 보호할 것인가(보안 프로토콜)를 구분해야 한다.

 

1. 동작 모드 (어디까지 캡슐화할 것인가?)

패킷의 원래 주소(IP 헤더)를 숨길 것인지 여부에 따라 두 가지로 나뉜다.

① 전송 모드 (Transport Mode)

• 개념: 패킷에서 데이터(페이로드) 부분만 보호하고, 원래의 IP 헤더는 그대로 유지하는 방식.
• 비유: 편지 내용은 암호화하지만, 겉봉투(보내는 사람/받는 사람)는 그대로 노출함.
• 적용 구간: 단말기 ↔ 단말기 (End-to-End)
• 특징: 내부망 IP가 외부에 노출되므로 보안성이 상대적으로 낮음.

② 터널 모드 (Tunnel Mode)

• 개념: 패킷 전체(원래 IP 헤더 + 데이터)를 통째로 캡슐화하여 보호하고, 라우팅을 위해 완전히 새로운 IP 헤더를 덧씌우는 방식.
• 비유: 암호화된 편지를 '새로운 큰 서류 봉투'에 한 번 더 집어넣어 보냄.
• 적용 구간: 라우터 ↔ 라우터, 게이트웨이 구간 (Site-to-Site)
• 특징: 기업 내부 IP가 완벽히 숨겨지므로 보안성이 매우 높으며, 대부분의 기업용 VPN에서 사용됨.

 

2. 보안 프로토콜 (어떤 기능으로 보호할 것인가?)

데이터를 보호하는 '무기'의 종류로, 암호화 지원 여부가 가장 큰 차이.

① AH (Authentication Header / 프로토콜 ID: 51)

• 핵심 기능: 인증(Authentication) 및 무결성(Integrity)
• 특징: 데이터가 중간에 위변조되지 않았음만 보장함. 데이터를 '암호화'하지 않으므로 중간에서 누군가 패킷을 가로채면 내용을 그대로 읽을 수 있음. (평문 전송)
• 실무 활용: 기밀성이 없기 때문에 실무에서는 사용 빈도 낮음.

② ESP (Encapsulating Security Payload / 프로토콜 ID: 50)

• 핵심 기능: 인증 + 무결성 + 기밀성(암호화)
• 특징: AH의 기본 기능에 더해, 데이터를 아무도 못 보게 완벽하게 암호화함. 해커가 중간에 가로채도 내용을 해독할 수 없음.
• 실무 활용: IPsec VPN의 핵심 프로토콜(현업 표준).

 

📊 3. 비교

[동작 모드 비교]

구분	전송 모드 (Transport Mode)	터널 모드 (Tunnel Mode)
보호 범위	데이터(페이로드)	원래 IP 헤더 + 데이터
IP 헤더	기존 IP 주소 유지	새로운 IP 주소 생성
통신 구간	PC ↔ PC (단말 간)	방화벽 ↔ 방화벽 (지점 간)

 

 

[보안 프로토콜 비교]

구분	AH (Authentication Header)	ESP (Encapsulating Security Payload)
보안 기능	인증, 무결성	인증, 무결성, 기밀성(암호화)
데이터 암호화	❌ (평문 노출)	⭕ (완벽 보호)
실무 활용	낮음	매우 높음 (VPN 필수)