전체 글 (68) 썸네일형 리스트형 파이썬 웹 크롤링 마스터하기-1 requests 모듈, HTTP Request란? * HTTP Request란? : HTTP는 Hyper Text Transfer Protocol의 줄임말입니다. 즉 Hyper Text 형식으로 주고 받는 Protocol이다. Transfer Protocol은 한국어로 통신 규약이라고 할 수 있는데, 이 또한 무슨 소리인지 잘 이해가 안 될 거예요. 쉽게 말하면 그냥 주고 받는 형식이나 양식이라고 보시면 됩니다. 예를 들자면, 어떤 통신 규약의 이름이 "편지 프로토콜"이고 이 프로토콜은 "수신자", "내용", "발신인" 등등을 기본적으로 갖고 있다고한다면, 이 프로토콜로 주고받는 데이터는 모두 저 내용을 갖고 있는 겁니다. HTML 을 예로 들면 body, head, method 등을 갖겠네요. 가장 빠르고 간편하게 HTTP Request를 확인하는 법.. 파이썬 웹 크롤링 마스터하기 계획 1. requests module과 간단한 HTTP Request 개념 2. requests 모듈과 BeautifulSoup 모듈의 사용법과 예제 3. requests 모듈과 BeautifulSoup 모듈을 이용해 가져온 데이터를 저장 및 시각화하기. (json, matplotlib, pandas 등등) 4. form 제출 없이 데이터 가져오기 5. REST API 이용해 데이터 가져오기 5. headless chrome 모듈인 pyppeteer을 이용해 데이터 가져오기 [Docker] Docker 시작하기. 예제를 하나 만들고 실행해보자 Docker과 무엇을 의미하는지, container와 image의 개념은 무엇인지에 대한 기본 내용은 이전 글에서 다루었으니 docker가 뭔지 모르시겠는 분들은 그 글을 참고하시고 이 글은 code를 base로 진행할게요. Docker을 시작하시는 분들은 기본적인 리눅스 명령어, pip 을 이용한 설치, 삭제 과정은 아시리라 가정하고 설명할게요. ▼ 이전 글 [Docker] Docker 시작하기. Docker란? Docker와 Container의 개념에 대하여 ● 흐름 1. app.py라는 이름으로 테스트해볼 프로그램을 작성한다. ( 필요한 python modules는 install 한다 ) 2. app.py가 잘 작동되는지 확인한다. 3. pip uninstall 을 통해 app.py를 실행시키는데 .. [Docker] Docker 시작하기. Docker란? Docker와 Container의 개념에 대하여 ● Docker란 무엇인가 가장 짧게 요약을 하자면가상의 환경에서 미리 정해져있는 필요한 프로그램들의 리스트를 통째로 설치하고 실행한 뒤 가상의 환경을 종료시킴으로써 내 컴퓨터는 깔끔하게 아무 영향을 받지 않도록 해주는 녀석입니다. Docker에서는 크게 세 가지 개념이 필요해요. Image, Docker engine, Container image 는 가상환경에 대한 설정과 설치해야할 Dependencies( 어떤 패키지의 dependency라는 건, 그 패키지를 실행하기 위해 필요한 패키지 목록을 말합니다. ), 수행할 작업등을 적어놓은 설정이고 docker build라는 명령어를 통해 생성할 수 있어요.docker engine는 image를 통해 container라는 실행 객체를 생성하고 실행해요.c.. 클라우드 컴퓨팅이란? with 데이터센터 기본적으로 아래 세 가지의 개념은 서로 관련이 깊은 것 같다.* Cloud Computing* Datacenter* Virtualization ( 가상화 ) 특히나 Cloud Computing 과 Data Center는 서로 떼어놓을 수 없는 것이Cloud Computing을 통해 우리가 자유자재로 사용할 수 있는 컴퓨터를 모아 놓은 곳이자 우리의 데이터를 보관하는 컴퓨터를 모아 놓은 곳이 Data Center이기 때문이다.Data center의 쉬운 예로는 정확하진 않지만 영화 속에 나오는 컴퓨터 본체처럼 생기진 않았는데 본체같기도 한 서버실 같은 장면을 떠올리면 된다.( Youtube에 data center라는 키워드로 검색하면 나오는 영상. 구글의 데이터 센터를 영상에 담은 것 같은데, 수업 때 흥.. [오픈 API] nodejs를 이용해 버스 도착 정보 얻기 - 2. 코드 ● 요약 공공데이터포털의 오픈API를 이용해 버스 도착정보를 얻는 코드와 프로그램 자체에 대한 설명입니다.API 설명 및 사용법이 궁금하신 분들은 전 편(https://senticoding.tistory.com/44)을 봐주세요. ● Code 안내 모든 코드는 Github repository에 올려놓았습니다.umi0410/busApiTutorial 참고주석을 잘 달아놓았으니 따로 설명은 안할게요.routeId까지만 구하는 과정은 꽤 쉬워서 request랑 cheerio에 대해 제대로는 모르더라고 어느 정도 따라 오실 수 있을 거라고 생각돼요.근데 routeId -> routeName으로 바꾸어 출력하는 부분을 Promise를 이용해 구현해놓았는데Promise와 then()에 대한 이해가 아예 없으시면 힘.. [파이썬 게임 예제] pygame으로 벽돌깨기 만들기 pygame 모듈 자체의 사용법이나 모듈 자체에 대한 강좌가 아닌,pygame 모듈을 이용해 만든 게임 예제인 벽돌깨기에 대해 소개하는 글 입니다.벽돌깨기를 어떻게 만들 지 막막하신 분들께 추천 ● python3 및 pygame install 하는 법 여러가지 방법이 있겠지만 제가 이번에 새 노트북을 사면서 linux Ubuntu를 깔자마자 python3를 깔았을 때 기준으로 알려드릴게요.python3 나 python2나 pygame으로 게임을 만드는 것 자체에서는 차이는 없는 것 같아요.python2로는 깔고 쓰고 하는 게 정말 쉬우니 따로 설명 안 하겠는데,python3는 제가 좀 버벅댔어서 혹시 도움이 될까 싶어 올려요. sudo apt install python3sudo apt install py.. [오픈 API] nodejs를 이용해 버스 도착 정보 얻기 - 1. API 사용법 ● 요약 API 사용법과 정류장에 도착하는 버스 정보를 얻는 프로그램을 만들기 전, 그 큰 틀과 진행 방향에 대한 글.코드 및 프로그램 자체에 대한 설명은 다음 편(https://senticoding.tistory.com/46)에 적겠습니다. ● 버스 도착 정보를 얻기 위한 진행 방식 * 예제는 어느 한 정류장의 버스 도착정보들을 얻는 것을 목표로 한다.1. 정류장이름 혹은 번호으로 정류장id를 찾는다.2. 얻은 정류장 id를 통해 그 정류장에 도착하는 버스들의 도착 정보를 얻는다( 허나 이 도착정보 중 각각의 버스는 routeId라는 변수를 이용해 표현되어있어바로 어떤 버스인지는 알아볼 수 없다. )3. routeId를 routeName 즉 버스 번호로 바꾸는 과정을 거친다. ● 필요한 API 목록 공.. 이전 1 2 3 4 5 6 7 8 9 다음
