네이버뉴스1 뉴스 클리핑 코드 구현 고려해야할 사항1. 날짜 sort=1로 해서 최신순으로 정렬 후에 아닌 날짜가 나오면 break; 2. 날짜 양식이 yyyy. mm. dd 아닌경우에? --> 1시간 전, 2일 전, 3주 전 전부 처리해야함 --> Url에 사용자가 날짜 설정할 수 있도록 재구현 3. 중복된 기사의 경우 --> 답없음. 크롤링 후에 사용자가 선택해야하는 상황 중간에 네이버에서 IP 차단시킴 ㅠㅠ봇으로 인식하고 차단 --> 해결 1. IP변경 2. User-agent 설정해주기 3. request.Session() 세션 켜두기 구현코드# -*- coding: utf-8 -*- import requests import time import random from bs4 import BeautifulSoup from dateti.. 2023. 12. 9. 이전 1 다음 728x90
