Node.js를 이용한 크롤링 방법 0. robot.txt Robots exclusion standard 표준 규약 각 홈페이지 뒤에 robots.txt 를 붙이면 조회할 수 있음 (ex: https://www.google.com/robots.txt) 서비스 출시 및 영리적 목적으로 사용되는 경우, 법적인 분쟁이 발생 가능 1. Crawling 준비 *NPM(Node Package Module) Node.js 패키지를 설치, 업데이트, 제거 및 관리 가능 *Puppeteer 구글에서 개발한 웹 브라우저 제어용 Node.js 라이브러리 package.json 생성 # 1. 원하는 directory로 이동 cd [target folder] # 2. npm init의 역할 : package.json 생성 np..
