전체 글30 01_빅데이터 분석 기획 (3) 분석 과제 발굴 방식 하향식 접근 문제가 주어지고 이에 대한 해법 찾기 위해 각 과정이 체계적으로 단계화 상향식 접근 데이터 자체를 관찰하고, 실제적으로 행동에 롬겨 대상을 이해하는 방식 프로토타이핑, 디자인 사고 접근법 사용 더보기 ㅇ 프로토타이핑 신속하게 해결책이나 모형 제시함으로써, 이를 바탕으로 문제를 좀 더 명확하게 인식하고 피요한 데이터를 식별하여 구체화 가능 ㅇ 디자인 사고 인간에 대한 관찰과 공감 바탕으로 다양한 대안 찾는 확산적 사고와 주어진 상황에 대한 최선의 방법을 찾는 수렴적 사고의 반복을 통해 과제 발굴하는 상향식 접근방법 빅데이터 분석 방법론 분석기획 단계 프로젝트 위험 대응 방법 회피 전가 완화 수용 주요 과업 비즈니스 이해 및 범위 설정 프로젝트 정의 및 계획수립 프로젝트 위.. 2020. 12. 16. 01. Flutter 개념 및 설치 Flutter Flutter는 Google에서 개발하고 Mobile World Congress 2018에서 최초 베타 릴리스를 발표하면서 새롭게 소개된 크로스 플랫폼 모바일 앱 개발 프레임워크입니다. 1. 왜 CrossPlatform을 사용할까요?🙋🏻 모바일 개발의 경우 iOS와 Android 모바일 개발자가 각각 따로 있다면 꼭 크로스 플랫폼으로 앱을 개발하지 않아도 됩니다. 하지만, 각 OS 별로 유저들에게 동일한 UI와 UX를 제공하면서 개발한다는 것은 쉬운일도 아닐뿐더러 각각 전문 개발자들이 필요하게 되니 개발 자원이 2배이상 필요하게 됩니다. 그리고 한 명의 개발자가 둘다 개발을 한다고 가정하면 각 OS의 개발 방식이 서로 다르기 때문에(IDE, 개발언어, 툴 등등) 따로 공부해야하는 필요성도 .. 2020. 12. 16. NoSQL 개념 및 특징 NoSQL (Not Only SQL) 개념 NoSQL은 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어 데이터 저장에 고정된 스키마가 필요하지 않고, 조인연산을 사용할 수 없다. 수평적으로 확장이 가능한 DBMS 특성 관계형 모델을 사용하지 않는 데이터 저장소 또는 인터페이스이며, 대규모 데이터를 처리하기 위한 기술로 확장성, 가용성, 높은 성능을 제공한다. 스키마-리스로 고정된 스키마 없이 자유롭게 데이터베이스의 레코드에 필드를 추가할 수 있다. 대부분 오픈 소스이다. 종류 구글 BigTable 아파치 HBase 아마존 SimpleDB 마이크로소프트 SSDS 데이터 저장 방식에 따른 분류(유형) Key - Value Redis, DynamoDB Column HBase, Cassandra Doc.. 2020. 12. 15. 01_빅데이터 분석 기획 (2) 분산 컴퓨팅 환경 소프트웨어 구성요소 Map Reduce Yarn Spark HDFS Hadoop Hadoop Ecosystem Sqoop : 정형데이터를 수집하는 대용량 데이터 전송 솔루션 HDFS : 대용량 파일을 분산된 서버에 저장하고, 그 저장된 데이터를 빠르게 처리할 수 있게 하는 HDFS Map Reduce : 대용량 데이터 세트를 분산 병렬 컴퓨팅에서 처리하거나 생성하기 위한 목적으로 만들어짐 HBase : 컬럼 기반 저장소로 HDFS와 인터페이스 제공 데이터 가공 피그(Pig), 하이브(Hive) 데이터 마이닝 머하웃(Mahout) 실시간 SQL 질의 임팔라(Impala) 워크플로우 관리 우지(Oozie) 분산 코디네이션 주키퍼(Zookeeper) 임팔라 - 하둡 기반의 실시간 SQL 질의.. 2020. 12. 15. 01_빅데이터 분석 기획 (1) 1. 빅데이터의 이해 (1) 빅데이터 특징 개요 및 활용 ㅇ 빅데이터 개념 빅데이터는 막대한양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다. 데이터로부터 가치 추출, 결과를 분석하는 기술의 의미 DIKW 피라미드 피라미드 요소 설명 데이터(Data) 객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호 예) 수제비 책을 A사이트에서 30,000원, B사이트에서 35,000원에 판매 정보(information) 가공, 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 데이터 예) 수제비 책은 A사이트에서 더 싸게 판매 지식(Knowledge) 획득한 다양한 정보를 구조화하여 유의미한 정보로 분류하고 일반화시킨 결과 정보에 기반해 찾아진 규칙 예) A사이트가 더 싸게 .. 2020. 12. 13. Apache Airflow 01 - 소개 및 실습 Airflow란? Home Platform created by the community to programmatically author, schedule and monitor workflows. airflow.apache.org ● 개념 - airflow는복잡한 계산을 요하는 작업흐름과 데이터 처리 파이프라인을 조율하기 위해 만들어진 오픈소스 도구 - 길이가 긴 스크립트 실행을 cron으로 돌리거나 빅데이터 처리 배치 작업을 정기적으로 수행하려고 할 때 도움된다. ● 구성 DAG (비순환 그래프) Operator (연산자) BashOperator PythonOperator ...etc Task (작업) ● 명명 Airflow DAG 는 Task 로 구성된다. 각 Task는 Operator 클래스를 인스턴.. 2020. 12. 10. 이전 1 2 3 4 5 다음
