안녕하세요! 손흥민 썸네일형 리스트형 [ Concept ] What is the Stream-Processing? 스트림 처리 스트림 처리(Stream-Processing)는 데이터가 생성되는 즉시 스트리밍 데이터를 연속적으로 실시간 처리하는 것을 의미한다. 스트림 처리는 데이터 크기를 알 수 없으며, 무한하고 연속적일 때 사용되며 데이터를 처리하는 데에 몇 초 또는 몇 밀리 초 정도밖에 안 걸린다. 다시 말해, 스트림 처리를 통해 데이터가 생성되자마자 분석 시스템에 하나씩 데이터가 공급된다. 즉, 스트림 처리에서 데이터 출력 속도는 데이터 입력 속도만큼 빠른 것이다. Apache의 Kafka, Flink, Storm, Samza 등과 같은 플랫폼과 결합하여 더욱 더 빠르게 스트림 처리를 할 수 있다. 스트림 처리에 대한 예를 들자면, 토트넘 경기가 시작되고, 손흥민이 골을 넣었을 때 실시간으로 시청자들의 반응을 여.. 더보기 [ Concept ] What is the Batch-Processing? 배치 처리 배치 처리(Batch-Processing)는 특정 시간 범위 내에서 대량의 데이터를 일괄적으로 처리하는 작업을 의미한다. 이때 배치 처리를 하기 위해서는 데이터의 크기가 계산되어 있는, 즉 유한한 데이터일 경우에 사용할 수 있다. 계속해서 유효 데이터를 수집하고, 유사한 데이터가 있을 시에는 그룹화 및 일괄 처리를 하게 된다. 배치 처리는 분석 시스템에 데이터 처리 결과를 즉각적으로 제공하지 않으므로 실시간으로 데이터 처리 결과나 속도를 필요로 하는 프로젝트에는 적합하지 않다. 반면, DB 또는 파일 시스템과 같은 데이터를 로드하기 위한 스토리지를 사용하게 되고, 오래된 메인 프레임과 서버를 포함하는 클라우드 데이터 마이그레이션 과정 중에 배치 처리를 하게 된다. 배치 처리에 관한 예를 들자면.. 더보기 이전 1 다음
