공부공간

언어 처리나 머신러닝관련 토이프로젝트를 진행할 때에 웹에서 데이터를 가져와서 적절한 전처리를 통해 데이터 셋을 구현하곤한다. 이럴때에 사용하는 것이 웹크롤링 기술이다. 사실 웹크롤링관련 툴을 잘 다룬다고 해서 절대 아무 사이트나 막 크롤링을 하면안된다.. 어찌됐든 사이트의 데이터도 그 회사의 자산이니 내가필요하다고해서 무단으로 사용하면 곤란해질수 있다. 관련사항은 구글에 Robot.txt 라고 검색해보면 알수있다. 물론 아직 개인이 법적인 책임까지 간경우는 드물지만, 이점을 알고 사용하자. 이 포스트에서는 1) BeautifulSoup4를 이용한 정적인 사이트 크롤링 2 ) Selenium을 이용한 동적인 사이트 크롤링 을 다룰 것이다. 사실 매우 간단한 수준이라서 따라하면 금방 할 수있다. 둘의 차이는..

https://www.acmicpc.net/problem/10164 10164번: 격자상의 경로 입력의 첫째 줄에는 격자의 행의 수와 열의 수를 나타내는 두 정수 N과 M(1 ≤ N, M ≤ 15), 그리고 ○로 표시된 칸의 번호를 나타내는 정수 K(K=0 또는 1 < K < N×M)가 차례로 주어지며, 각 값은 공백으로 구분된다. K의 값이 0인 경우도 있는데, 이는 ○로 표시된 칸이 없음을 의미한다. N과 M이 동시에 1인 경우는 없다. www.acmicpc.net 두가지 경우로 나누어 생각할 수있다. 격자상의 경로에서 중간점이 1)있는경우, 2)없는경우 없는 경우는 갈수있는 격자의 모든 경우의 수는 11111 12345 1361015 이런식으로 고등학교 수학에 나오는 방식으로 구할 수 있다. dp[..

https://www.acmicpc.net/problem/1966 1966번: 프린터 큐 문제 여러분도 알다시피 여러분의 프린터 기기는 여러분이 인쇄하고자 하는 문서를 인쇄 명령을 받은 ‘순서대로’, 즉 먼저 요청된 것을 먼저 인쇄한다. 여러 개의 문서가 쌓인다면 Queue 자료구조에 쌓여서 FIFO - First In First Out - 에 따라 인쇄가 되게 된다. 하지만 상근이는 새로운 프린터기 내부 소프트웨어를 개발하였는데, 이 프린터기는 다음과 같은 조건에 따라 인쇄를 하게 된다. 현재 Queue의 가장 앞에 있는 문서의 ‘중요도’를 www.acmicpc.net 프린터에서 가중치를 부여하여 큐에 현재 가중치보다 높은 문서가 있는 경우 현재의 문서를 큐에 맨뒤로 보내는 작업을 반복하면서 내가 궁금..