트위터 크롤링을 만들어보았습니다. #1

머리도 식힐겸? 공부좀 할겸 한번 만들어보았습니다.

약간의 삽질을 해보았습니다.

그것도 삽질을 제대로 했습니다. ~~

여튼 결과물은 나왔습니다. 

트위터를 크롤링하는 방법은 여러방법이 있습니다만...

전 개인적으로 트위터 API 를 사용을 해보는 방법을 이용해보았습니다.

처음엔 일반적인 방법으로 크롤링을 해보려 했으나 어? 아무것도 보이지 않습니다.

그러다가 음... 방법을 찾아보자 구글검색을 열심히 해보았습니다.

두가지의 방법이 저게 제시가 되더군요.

한가지의 방법은 셀레니움을 이용하는 크롤링 방법...

두번째 방법은 트위터 API 를 이용하는 크롤링방법...

이 두가지를 고민을 하고있었죠. 장시간 크롤링을 하며 전력을 좀 덜잡아먹는 시스템을 고민을 해보았습니다.

라즈베리파이와 시놀로지 나스가 보이더군요.

음... 시놀로지 나스는 중요한 서버가 돌아가기에 패스~~ 

두번째는 라즈베리파이 였습니다.

셀레니움을 이용하며 라즈베리파이에서는 동작이 더딘것을 예전부터 알고 있었습니다.

사실 시놀로지 나스에서도 셀레니움을 이용하면 버벅 거리는 ...

좋은 방법은 셀레니움을 이용하면서 크롤링 하는 방법은 현재 컴퓨터로 하는 방법 말곤 없더군요.

그래서 결론은 라즈베리파이에서도 돌아갈수 있는 트위터API 를 이용하기로 ;;;;

여튼 결과물은 좋습니다 ~

참고로 공개는 어려습니다.

이것도 개인정보가 들어갑니다 ;;;;

개인정보가 들어가지 않는 키와 검색어를 제외한 나머지는 공개해드릴수는 있습니다.