[Article Study ②] 데이터 아키텍쳐? 쉽게 배워봅시다

 

https://yozm.wishket.com/magazine/detail/2396/

데이터 아키텍처? 쉽게 배워봅시다 | 요즘IT

 

• 요약 : 데이터 아키텍쳐는 조직이 데이터를 수집, 저장, 처리, 관리하는 방법을 설계하고 구현하는 일련의 과정을 나타냅니다. 이 글에서는 용도에 맞게 변형시키는 과정을 ETL(추출, 변환, 적재), 안전하고 효율적으로 저장하는 곳을 데이터 웨어하우스 (Data Warehousr)/ 데이터 레이크 (Data Lake) , 특정 주제나 부서에 특화된 데이터만 모아놓은 데이터 마트(Data Mart) 를 집중적으로 다뤄져있습니다.
• 주요 포인트 : 데이터 아키텍쳐와 관련된 개념 및 용어의 이해

 

• 핵심 개념 :

-데이터 아키텍쳐(Data Architecture): 시스템이 어떻게 구성되며 동작하는지 원리를 나타내는 원칙을 의미한다. 조직이 데이터를 수집, 저장, 처리 및 관리하는 방법을 설계하고 구현하는 일련의 과정 또는 체계이다.

-ETL (Extraction, Transformation, Load): Raw Data를 용도에 맞게 추출, 변환, 로드하는 과정

-데이터 웨어하우스 (Data Warehouse): 정형화된 테이블 형태의 데이터 저장하는 곳으로 장기간 안정적으로 대규모 데이터 저장하고 필요할 때 빠르게 조회가능. (비즈니스 질의, 보고 등에 활용)

-데이터 레이크 (Data Lake): 정형뿐만 아니라 반정형, 비정형 데이터도 저장할 수 있음. (로그 파일, 소셜 미디어 데이터, 이미지 등에 활용, 큰 규모의 원시 데이터를 저장에 중점)

-데이터 마트 (Data Mart): 특정 부서나 목적에 맞는 일부 데이터만 따로 모아놓은 것.

• 장점: 효율적 데이터 관리와 접근/ 증가된 성능(처리속도 향상)/ 사용자 맞춤형 데이터 제공/ 보안과 데이터 보호(민감데이터 세트에 대한 접근제한가능)

• 용어 정리 : (데이터의 원천)

-OLTP 데이터 베이스: 우리가 온라인 쇼핑을 할 때나 은행 업무를 볼 때 생성되는 거래데이터. ex) 구매 내역, 입출금 내역 등

-기업 어플리케이션: 회사에서 ERP나 CRM 같은 시스템을 통해 데이터를 관리하며 고객정보, 재고, 매출 등 포함

-서든파티: 외부에서 제공되는 데이터로, 다양한 시장 조사 및 경쟁사 분석 데이터 등

-웹/로그 데이터: 인터넷을 사용하면 남겨지는 발자취. 어떤 광고를 클릭했는지, 어떤 페이지를 오래보았는지 등

-IoT데이터: 스마트폰, 스마트TV, 냉장고, 에어컨 등 IoT기기들이 생성하는 데이터

 

<다양한 분야에서 데이터아키텍쳐활용 > 

 

https://blog.naver.com/samsjang/220788844868

빅데이터 사례 연구 - 아키텍처