본문 바로가기
  • 기억보단 기록을..

데이터 수집1

01_빅데이터 분석 기획 (4) 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 데이터 처리 기술 필터링, 변환, 정제, 통합, 축소 (1) 데이터 수집 정형데이터 정형 데이터 수집에 대한 수집 방식과 기술에는 ETL, FTP, API, DBToDB, Rsync, Sqoop(스쿱)이 있다. 수집 방식 및 기술 설명 ETL - Extract (추출) Transform (변환) Load (적재) - 수집 대상 데이터를 추출, 가공(변환,정제)하여 데이터 웨어하우스 및 데이터마트에 저장하는 기술 FTP - File Transfer Protocol - 시스템 간 파일 공유 서버클라이언트 모델로 TCP/IP 기반 파일 송수신하는 응용계층 프로토콜 - 최근 서버와 클라이언트 사이 파일 전송시 보안 강화위해 SSH(Secure Shell) 적.. 2020. 12. 17.

티스토리툴바