나무위키(namu.wiki) 는 덤프파일을 공개하지 않습니다

원래는 서버를 파라과이에 만들고 광고띄우며 영리사업을 하면서, 매년 덤프를 공개하겠다고 약속했더랬죠. 1년간격인지 6개월간격인지는 지금 생각안나는데.. 하지만 2022년언저리부터 하지 않습니다.

 

https://namu.wiki/w/%EB%82%98%EB%AC%B4%EC%9C%84%ED%82%A4:%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4%20%EB%8D%A4%ED%94%84

 

검색해 찾아본 것 중에는

2021년 3월이란 이름이 붙은 파일이 백업돼있는 곳이 하나 보이네요.

94e541d92102e668eaa9bc003f867868b1bd3a9a7e73f091336ae225c4b3e442

 

저기말고도 2021년 3월자 ㄴㅁ위키 마지막 덤프는 백업돼있는 곳이 웹 어딘가에는 있을 겁니다.

 

https://blog.naver.com/livetrack/222326092570

나무위키 MDX 변환본 2021년 03월분

 

 

 

왜 공개하지 않느냐.. 어느 글을 보면,

 

자기들이 크롤링거부를 할 수 없었을 때는 남들이 크롤하면 서버부하가 엄청나니까 덤프를 자기들이 만들어 공개했고,

이제는 크롤링거부 프로그램을 잘 만들었다고 자신하니까, 덤프를 공개하지 않는 거다..

 

수긍가는 이유더군요.

수제 파이썬 스크립트나, 아니면 시중의 웹사이트 복제 프로그램을 돌리면 금방 막힙니다.

 

AI를 넣든 아니면 그냥 적당한 로직을 넣든 좋은 크롤러가 나와서 저런거 덤프를 따면 좋겠다는 생각을 해봅니다. 분량문제상 많은 컴퓨터에서 분산작업을 해야겠지만.

 

 

나무위키로 구글링해보다 눈에 띈 링크 조금.

 

https://blog.hashscraper.com/5-principles-for-bypassing-web-crawling-blocks/

크롤링 전문가가 전하는 웹크롤링 차단 우회 5가지 방법

 

https://yhj9855.com/category/Python%28%ED%8C%8C%EC%9D%B4%EC%8D%AC%29/Crawling%28%ED%81%AC%EB%A1%A4%EB%A7%81%29

'Python(파이썬)/Crawling(크롤링)' 카테고리의 글 목록

 

https://pagedown.tistory.com/7

파이썬으로 크롤링하면서 데이터를 가져올 수 없을 때

 

crawling namu.wiki -site:namu.wiki

https://www.google.com/search?q=crawling+namu.wiki+-site%3Anamu.wiki

🔎 crawling namu.wiki -site:namu.wiki: Google 검색

 

 

이 글을 적어본 이유.. 아래 문서때문에.

https://en.m.wikipedia.org/wiki/Internet-in-a-Box

Internet-in-a-Box - Wikipedia