Big Data/Data Engineering3 kafka Basic 빅데이터에 대한 정의빅데이터 정의5v (volume variety velocity veracity value)기존 db에서 효율적으로 혹은 전혀 처리할 수 없는 데이터하나의 서버에서 처리하기에 많은 양빅데이터 발생 배경disk 등의 하드웨어 비용 감소실시간 logging 비용 감소데이터 생성 기기 증가스마트 기기의 종류와 갯수 증가데이터 provider의 다양화Ott, Youtube, 개인방송 등오픈소스의 발전Hadoop의 등장 - 대량의 데이터를 저장하거나 분산병렬처리 이용한 집계 가능오픈소스의 등장으로 sw 비용절감결론저렴한 하드웨어와 오픈소스 소프트웨어의 합작으로 데이터 처리 효율 급상승데이터를 통한 비즈니스 수익성 증명 ex) 추천시스템을 통한 매출증가빅데이터 처리 기술의 다양화kafka 위치 :.. 2024. 10. 26. Spark 기초 Spark 정의 Spark 사용법 2022. 2. 4. ELK 스택 LogStash Elastic Search Kibana 2022. 2. 4. 이전 1 다음
