일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- dfs
- pandas
- disjoint set
- BFS
- 세그먼트 트리
- DP
- 포트앤어댑터 아키텍처
- docker
- springboot
- 알고리즘
- Redis
- equals
- 스프링
- java
- JPA
- 파이썬
- series
- 다익스트라
- 문자열
- 위상정렬
- 이펙티브 자바
- dataframe
- ddd
- UML
- 비트마스크
- spring security
- 자바
- 헥사고날 아키텍처
- 백준
- 데이터 flow
Archives
- Today
- Total
목록데이터 flow (1)
코딩못하는사람
데이터 파이프라인 및 데이터 flow
서비스 기업에서는 데이터 기반 의사결정(Data-Driven)이 중요하게 자리 잡았다. 데이터가 부족했을 때는 리더의 경험과 감에 의해 의사결정을 했다면, Data-Driven은 데이터를 기반으로 핵심 의사결정을 하는 것을 말한다. 하드웨어가 발달하고 클라우드(AWS,Azure 등)가 발달하면서 데이터를 저장할 수 있는 공간을 손쉽게 제공해준다. 따라서 서비스에서 유저가 일으키는 이벤트(클릭, 스크롤 등) 뿐만 아니라 서버가 남기는 로그 데이터같은 많은 데이터를 저장할 수 있게 된다. 또한 데이터 분석 툴도 많이 나와있기 때문에 Data-Driven에 큰 도움을 준다. 데이터 파이프라인이란? 서비스를 운영하며 생기는 많은 데이터를 무사히 저장소에 저장하기 위해 여러 서버 컴퓨터가 작업을 한다. 데이터를 ..
데이터 엔지니어링
2022. 2. 9. 22:07