과거 데이터파이프라인 MySQL → hadoop MySQL → monitoring MySQL → search engine 각기 다른 파이프라인이 생겼고 이로 인해 코드의 복잡성이 증가하면서 데이터 연동이 힘들어졌다. 실시간 데이터처리를 위한 기술 Kafka 등장 실시간 데이터 처리 기법 1. 한정 데이터(Bounded data) 처리 이미 저장된 데이터를 처리하는 것이다. 해당 데이터를 별도로 처리할 수 있는 패턴이 없다. 2. 무제한 데이터(Unbounded data) 처리 무제한 데이터는 주로 스트리밍 데이터 ** 무제한 데이터 처리의 두가지 패턴 2-1) 배치(Batch) - 스트리밍 데이터를 일정 시간 단위로 모아서 처리한다. - 구현이 간단하나 데이터 수집 후 처리가 되므로 실시간 처리에서 떨어..

1. 서버-디스크 연결방식 1) 병렬 연결 [ 서버 : 디스크 = 1 : 多] 2) Serial 연결 [서버 : 디스크 = 1 : 1] Serial-SCSI = SAS Serial-SATA 2. 파티셔닝 1) fdisk 2) LVM (스토리지 가상화) → RAID 기술 이용 3. 디스크 어레이 (Disk Array) 여러 대의 서버가 SAN을 통해 디스크를 공유할 수 있는 구조. 하나의 독립적 컴퓨터와 비슷하다. CPU와 같은 마이크로프로세서 존재하고 RAID 기술을 사용한다.