[웹크롤링]Web 구조와 개념
Server & Client Architecture
- client : 브라우저를 활용해 서버에 데이터를 요청 ( request)
- server : 클라이언트의 브라우저에서 데이털르 요청하면 요청에 따라 데이터를 client에 전송 ( response)
URL
https://n.news.naver.com/article/079/0003939868?sid=100
https:// - protocol
news - Sub Domain
naver.com - Primary Domain : 어떤 서버로 갈지 알려줌
80 or 443 - port : 서버에 들어가서 어떤 프레임워크로 데이터를 요청할지 선택하는 포트
/article/079/0003939868 - path: 디렉토리 이름 , 경로
?sid=100 - Query : key value 로 구성되어 있는 하나의 데이터에서 어떤 데이터를 볼지 server에 정보 전달
*없는 부분
read.nhn - Page (File) : 디렉토리에 있는 파일에 접속, 파일 이름
#fragment - Fragment : # 뒤에 붙는 부분, 페이지 내의 특정위치 지정. 웹페이지 id 값 찾아서 그 화면을 보여줌
*http / https 차이
https 는 데이터를 암호화하여 전송, 기본포트는 443
http 는 기본 프로토콜, 데이터를 암호화하지 않음. 기본 포트는 80
HTTP Request Methods
1. Get 방식 : URL 에 쿼리 포함, 쿼리(데이터) 노출, 전송 가능 데이터 작음
2. Post 방식 : Body 에 쿼리 포함, 쿼리(데이터) 비노출, 전송 가능 데이터 많음.
HTTP Status Code
client 와 server가 데이터를 주고 받은 결과 정보
- 2xx : success
- 3xx : redirect
- 4xx : request error
- 5xx : server error
Cookie, Session, Cache
1. cookie
- 클라이언트의 브라우저에 저장하는 문자열 데이터
- ex) 로그인 정보, 내가 봤던 상푸 정보 팝업 다시 보지 않음 등
2. session
- 클라이언트의 브라우저와 서버간의 연결 정보
ex) 자동 로그인
3. cache
-client,server의 RAM(메모리)에 저장하는 데이터
-RAM에 데이터를 저장하면 데이터 입출력 빠름
Web Language & Framework
1. Client (frontend)
- html
- css : Bootstrap, Sematic UI, Materialize, Material Design life
- javascript : reat.js, vue.js, angular, jQuery
2. Server(Backend)
-python : Django, Flask, FastAPI
-Java : Spring
-Ruby : Rails
-Scala : Play
-Javascript : Express(node.js)
Scarping & Crawling
1. scraping : 특정 데이터를 수집하는 작업
2. crawling : 웹서비스의 여러페이지를 이동하며 데이터를 수집하는 작업/ spider,web crrawler, bot 용어 사용
웹페이지 종류
1. 동적 페이지: 웹 브라우저에 화면이 뜨고 이벤트가 발생하면 서버에서 데이터를 가져와 화면을 변경
-url 새로 고침이 일어나지 않음.
-서버로부터 list 나 dict 을 JSON 포맷으로 받아옴
2. 정적 페이지: 웹 브라우저에 화면이 한번 뜨면 이벤트에 의한 화면 변경이 없는 페이지
-url 이 바뀜
- 서버로부터 html 으로 받아옴
데이터 수집 방법
1. url 찾기 : 웹페이지 분석 (chrome dev tool)
2. request (URL) : response(data)
- JSON :동적 페이지
- html : 정적 페이지
3. Parshing : data를 dataframd(DF)로 바꿔줌
- JSON/html 방법이 달라짐