본문 바로가기
  • 기억보단 기록을..

전체 글30

01_python & postgreSQL 연동하기 PostgreSQL 설치법은 다른 블로그들 많으니 생략 Table of Contents psycopg2 또는 sqlalchemy 모듈 설치 기본적인 코드 설명 요약 설치 $ pip install psycopg2 Python 연결코드 1. 데이터 연결 및 삽입 - postgreSQL 설치할 때, 설정한 host, dbname, user, password 입력 import psycopg2 # Update connection string information host = "" dbname = "" user = "" password = "" sslmode = "require" # Construct connection string conn_string = "host={0} user={1} dbname={2} pa.. 2020. 12. 28.
Project 실행환경 분리해주기 [settings.py] 파일 분할 settings.py Local, Dev, Prod 환경에 따른 settings.py 분리 1. 개요 이번 포스팅에서는 Django 프로젝트의 root settings.py 을 실행환경에 따라 다르게 분리하는 방법을 알아 볼 것이다. 로컬서버, 개발서버, 실서버에 따라 Debug=False/True 처럼 각각 값을 바꿔줘야 하는 경우가 생기기 때문이다. 2. 방법 from [프로젝트명].settings.base import * 위 코드를 통해 base.py에 있는 파일을 불러옵니다. 또한 분리할 정보 Debug나 Database 가 있으면 base.py 에서 지우고 환경에 맞는 파일에 코드를 작성 우리가 이전에 SECRET_KEY 를 불러오기 위한 경로가 한 depth 증가했으므로 base.py에 BAS.. 2020. 12. 21.
Templates 에 Google Font 적용하기 Google Font 순서 html 부분에 link import 사용하고자 하는 태그에 font-family 속성값 구글폰트 사이트에 들어가서 CDN 처럼 link 받고, 에 메타정보로 넣어주고, 사용하고자 하는 태그에 style 줘서 사용하기 끝. 2020. 12. 21.
git bash - 별칭 alias 적용하기 git bash window에서 git 을 설치하게 되면 같이 설치되는 cmd 이다. 1. git bash 기본화면 2. 명령어 alias 주기 python 에서 가상환경을 실행할때 "python -m venv venv" "source venv/Scripts/activate" 가상 환경을 만들고 실행하는것을 일일이 치기 귀찮아서 alias별칭을 주기로 생각했다. ~/.bash_profile 에 alias 추가 $ echo "alias 단축어='명령어'" >> ~/.bash_profile $ echo "alias va='source venv/Scripts/activate'" >> ~/.bash_profile ~/.bash_profile 확인 $ cat ~/.bash_profile alias va='sour.. 2020. 12. 18.
01_빅데이터 분석 기획 (4) 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 데이터 처리 기술 필터링, 변환, 정제, 통합, 축소 (1) 데이터 수집 정형데이터 정형 데이터 수집에 대한 수집 방식과 기술에는 ETL, FTP, API, DBToDB, Rsync, Sqoop(스쿱)이 있다. 수집 방식 및 기술 설명 ETL - Extract (추출) Transform (변환) Load (적재) - 수집 대상 데이터를 추출, 가공(변환,정제)하여 데이터 웨어하우스 및 데이터마트에 저장하는 기술 FTP - File Transfer Protocol - 시스템 간 파일 공유 서버클라이언트 모델로 TCP/IP 기반 파일 송수신하는 응용계층 프로토콜 - 최근 서버와 클라이언트 사이 파일 전송시 보안 강화위해 SSH(Secure Shell) 적.. 2020. 12. 17.
웹 크롤링 개념 웹 크롤링이란? 웹 페이지에 있는 데이터를 가져오는 일 1. 어떻게 데이터를 가져올까? 웹 페이지를 전체 가져와서(get) 내가 원하는 부분만 선택(parsing) 웹서버에 requests 를 보내서 response(html) 받는다. 2. 불법? 합법? robots.txt 크롤링 봇에 대한 제한을 걸어두는 것 공식 API 몰래 크롤링하지말고 합법적으로 데이터를 가져갈 수 있는 창구를 만들어놓음 3. 활용 기술 bs4 (BeautifulSoup) requests session 로그인이 필요한 경우 Selenium js 등 추가적인 기술이 필요할 때 database scheduling 4. 참고 택뽕 유튜브 2020. 12. 16.

티스토리툴바