FLASK 웹툰다운로드 진행상황...

어제까지만 해도 크롤링한 데이터를 DB에 저장만 되게끔 만들어보았습니다.

 

오늘 끄적 끄적 하면서 크롤링한 데이터를 DB에 중복체크를 한뒤 있으면 패스 없으면 DB에 저장하게끔 만들어보았습니다.

 

이후 쉬면서 조금씩 조금씩 필요없는 부분을 삭제하고 다듬기 시작하였습니다.

다듬으면서 크롤링하여 DB에 저장한 데이터를 다운로드를 받아야 웹툰다운로더가 되지 않겠습니까?

그래서 다듬고 필요없는 부분 지우고 하면서 수정을 하였습니다.

 

처음에는 수정하였던부분이 DB를 불러와서 읽어보았습니다.

네 잘 불러와지고 읽을수가 있었습니다.

그래서 좀더 만져보았습니다.

전체 DB를 불러와 한줄 한줄 읽으면서 잘 불러와집니다.

이제 읽은 내용을 완료표시를 해주었습니다.

네 잘됩니다.

자 이제 제가 원하는 기본이 만들어졌습니다.

이제 코드를 정리해보았습니다.

DB 전체를 불러와 한줄 한줄 읽으면서 미완료된 목록을 불러보자...

어 ? 미완료된 목록이 있다.

그래? 미완료된 목록의 컬럼을 하나 하나 읽어볼게

미완료된 목록의 제목이랑 소제목과 주소 가 있네...

그래 너 이루와바 이제 내가 해볼게...

주루룩 주소와 제목 소제목을 가지고 다운로드를 진행합니다.

다운로드 작업이 끝났습니다.

그래 미완료된 목록에 완료 표시를 해줄게 옛다. 완료

라고 표시를 DB에 해줍니다.

이후엔 미완료건에 대해서만 다운로드 작업이 되고 완료된 건은 무시됩니다.

 

요런식으로 작동이 됩니다.

재미있으셧나요?

 

현재까지 작업한 내용이며 이제 FLASK 에 적용해보려고 합니다.

에공... 따로 배우고 한건 없습니다.

 

FLASK 적용하려면 아무래도 무언가 필요할듯 싶은데 음... 생각을 해야 겠네요 ㅎㅎㅎ

 

그냥 대충 생각하기로 했습니다 ㅋㅋㅋ

 

현재까지 작업된 내용입니다.

지금은 카피툰 사이트의 크롤링만 추가하였습니다.

이후에는 사이트 하나씩 추가할 예정입니다.

지금까지 만들어두기만 하였었고 이를 가지고 조금만 수정하면 적용이 가능한 상태입니다.

일반적으로 실행을 테스트를 해보면서 수정하였으며 FLASK 에 붙이고 테스트후에 업데이트를 진행하도록 하겠습니다.

참고로 현 소스를 수정을 조금만 하셔도 FLASK 없이 사용이 가능한 소스입니다.

하지만 전 이게 더 편리하고 웹에서 실행하는것이 편합니다.

일단 오늘은 되는지 않되는지 테스트를 해본뒤에 업데이트 안내 하겠습니다.

현재는 올린 상태가 아닙니다.

 

-추가- 

FLASK 붙이고 테스트를 진행해보았습니다.

목록DB화중이긴 하지만 압축 여부가 되나 않되나만 확인하면 될듯 싶습니다.

원래는 다 만들어서 한번에 올리는게 편하지만 하나하나 작업하면서 추가하는것도 나름 편합니다 ㅎㅎㅎ

어떻게 바뀌는지 저도 기록이 되기때문에 ^^;

이 화면이 기본화면이 될거 같습니다.

카피툰주소는 위 화면에서 보이는 주소를 적으시면 되시겠죠?

압축여부는 옵션으로 선택하게 만들겁니다.

글을 작성하면서 수정하였네요. 이상하게 글을 작성할때마다 생각이 납니다 ㅎㅎㅎ

화면의 변화가 보이시죠 ㅎㅎㅎ

이제 한가지가 추가완료했습니다.

두번째 웹툰은 뉴토끼라는 곳을 크롤링하여 다운로드를 받겠습니다.

이미 소스가 있습니다. 여기서 DB화 시키고 FLASK에 붙이기만 하면 되기때문에 금방 작업이 될듯 싶습니다.

그러나 뉴토끼는 좀 생각해야 되는것이 있긴 한데 기존 소스는 한개의 만화를 전체 다운로드 받을수 있게 만들었습니다.

그래서 전체 다운로드를 할건지 아님 각각 받고 싶은거를 입력후 다운로드를 받을것인지는 좀 생각을 해봐야겠습니다.

어휴 현재 DB 화 시키는데 오래걸리네요 ㅋㅋㅋ

아마도 카피툰의 만화를 전체 DB화 시키니 오래 걸리는거 같습니다.

기다리는동안에 몇몇 서핑을 하던중에 일부 웹툰뷰어들이 느리다 라는 의견이 있는거 같았습니다.

또한 웹툰이 많아지면 많아질수록 버벅임? 과 스트리밍이 느리다 라는 의견도 있어 저또한 몇가지 뷰어를 이용해보았습니다.

에어코믹스... 마이코믹스. ivViewer 이렇게 3가지를 사용을 해보았습니다.

로컬에서 보는데에는 지장이 없었습니다.

Rclone 으로 외부드라이브에 연동하여 저장된 내용을 보게되면 에어코믹스와 마이코믹스는 로딩이 느립니다.

ivVierwer 는 빠르더라구요. 그러나 따로 만드신 플러그인이 없다면 무용지물인 ivViewer 입니다.

왜냐면 제가 보던 내용을 이어서 못보기때문에 2차적인 뷰어를 찾아야되었습니다.

ubooquity 뷰어와 komga 뷰어인데 아직 사용을 못해보았습니다만...

방식이 다른거 같았습니다.

ubooquity 뷰어는 zip 압축된 파일을 불러오지를 못하는거 같았습니다.

그래서 cbz 파일을 만들수 있게 수정을 해보았습니다.

위 스샷과 같이 추가를 해보았습니다.

또한 앞으로 이 화면에서 다른 웹툰을 추가할 예정이라 소스의 일부를 수정하였기에 테스트를 진행해봐야 되기에 업데이트 시간이 걸릴거 같습니다.

저도 잘 몰라서... 테스트 진행을 해봐야 알거 같습니다.

cbz 파일이 zip 압축파일 확장자만 변경이 된건지 봐야 알거 같아요 ^^;

테스트도중에 어? 다운이 않되는 현상때문에 한참을 들여다 보았네요.

결론은 기존 소스에서 일부 변경이 되었는데 그중 불필요한 코드가 있었네요.

불필요한 코드를 삭제후 또 테스트를 돌렸는데 또 않되길래 봤더니 이번에는 코드 누락이 되었었네요 ㅋㅋㅋ

요즘 왜이리 정신이 없는지 모르겠네요 ㅎㅎㅎ

완벽한건 아니지만 버그가 있을지 모르겠습니다.

그때는 댓글로 남겨보세요 수정이 될지 않될진 모르겠네요 ㅎㅎㅎ