Crawling2 [Django] 직접 만든 코드 Django에서 사용하기. 내가 만든 코드 Django에서 사용하기 url 을 통해 함수를 실행하는것 말고 내가 작성한 코드를 django와 연동시켜서 사용하는 방법 Django에서 내가 작성한 코드를 실행하기 위해서 가장 중요한 단계 2가지 순서 중요하다. django.setup() 을 통해 django가 세팅된 이후에 models 을 가져와야 django가 인식함 import os os.environ.setdefault('DJANGO_SETTINGS_MODULE', "Backend.settings") # my project name import django django.setup() from {your_app} import models 예시코드 내가 만든 멜론 탑100 크롤링 코드를 django models 에 ORM 을 이용.. 2020. 12. 30. 웹 크롤링 개념 웹 크롤링이란? 웹 페이지에 있는 데이터를 가져오는 일 1. 어떻게 데이터를 가져올까? 웹 페이지를 전체 가져와서(get) 내가 원하는 부분만 선택(parsing) 웹서버에 requests 를 보내서 response(html) 받는다. 2. 불법? 합법? robots.txt 크롤링 봇에 대한 제한을 걸어두는 것 공식 API 몰래 크롤링하지말고 합법적으로 데이터를 가져갈 수 있는 창구를 만들어놓음 3. 활용 기술 bs4 (BeautifulSoup) requests session 로그인이 필요한 경우 Selenium js 등 추가적인 기술이 필요할 때 database scheduling 4. 참고 택뽕 유튜브 2020. 12. 16. 이전 1 다음
