TCP/IP 5계층 Application Layer 응용 계층 Transport Layer 전송 계층 Network Layer 네트워크 계층 3계층 Link Layer 링크 계층 2계층 Physical Layer 물리계층 1계층 응용계층 1) 프로토콜 DNS FTP SSH HTTP 전송계층 1) 프로토콜 TCP: 세그먼트 UDP: 데이터그램 서비스 포트 사용 네트워크 계층 1) 프로토콜 IP : 패킷 ICMP (진단 프로토콜; ping test) : 패킷 IP를 이용해서 End to End 통신 IPv4: 32bit IPv6 링크 계층 MAC 주소 = 이더넷 주소

과거 데이터파이프라인 MySQL → hadoop MySQL → monitoring MySQL → search engine 각기 다른 파이프라인이 생겼고 이로 인해 코드의 복잡성이 증가하면서 데이터 연동이 힘들어졌다. 실시간 데이터처리를 위한 기술 Kafka 등장 실시간 데이터 처리 기법 1. 한정 데이터(Bounded data) 처리 이미 저장된 데이터를 처리하는 것이다. 해당 데이터를 별도로 처리할 수 있는 패턴이 없다. 2. 무제한 데이터(Unbounded data) 처리 무제한 데이터는 주로 스트리밍 데이터 ** 무제한 데이터 처리의 두가지 패턴 2-1) 배치(Batch) - 스트리밍 데이터를 일정 시간 단위로 모아서 처리한다. - 구현이 간단하나 데이터 수집 후 처리가 되므로 실시간 처리에서 떨어..