Cloud(8)
-
[Kafka] Apache Kafka 기본 이해
과거 데이터파이프라인 MySQL → hadoop MySQL → monitoring MySQL → search engine 각기 다른 파이프라인이 생겼고 이로 인해 코드의 복잡성이 증가하면서 데이터 연동이 힘들어졌다. 실시간 데이터처리를 위한 기술 Kafka 등장 실시간 데이터 처리 기법 1. 한정 데이터(Bounded data) 처리 이미 저장된 데이터를 처리하는 것이다. 해당 데이터를 별도로 처리할 수 있는 패턴이 없다. 2. 무제한 데이터(Unbounded data) 처리 무제한 데이터는 주로 스트리밍 데이터 ** 무제한 데이터 처리의 두가지 패턴 2-1) 배치(Batch) - 스트리밍 데이터를 일정 시간 단위로 모아서 처리한다. - 구현이 간단하나 데이터 수집 후 처리가 되므로 실시간 처리에서 떨어..
2020.07.15 -
[AWS] 20.07.06 - 08 공부
클라우드란 인터넷 기반 컴퓨팅 환경 사용한 만큼 지불 - 종량과분제 aws 서비스 종류 * iaas: DIY방식 조립해서 사용 ex) aws, toast * paas iaas 서비스를 사용. 주로 플랫폼 자동화 서비스(Orchestration) -> IaC (AWS CloudFormation, Elastic BeanStalk) elasticBeanstalk 폴더에 '설명' 그림 FIFO elasticBeanstalk 폴더에 '설명2' 그림 operating system은 ec2에 대응 hw 리소스 4가지 cpu, memory, disk, n/w ↓ 가상화 서버 가상화: cpu, memory 스토리지 가상화: disk n/w 가상화: n/w (라우터 테이블, 라우터 추가 생성) 스토리지 서버 유형 * 파일..
2020.07.08