데일리 악성코드 유포지 자동추출하기!

안녕하세요. 커마잠입니다. ^^

오늘은 간만에 정보보안 관련 글을 작성해봅니다. 매일 뻘글만 블로그에 작성하다가 간만에 보안관련 글을 작성하려니 너무 부끄럽네요. 헤헤

오늘 제가 작성할 글의 주제는 '데일리 악성코드 유포지 자동추출하기!' 입니다. 

많은 기업에서는 여러기관이나 전문업체로부터 제공받는 악성코드 유포지를 전달받아 내부적으로 방화벽에 아웃바운드로 나가는 부분을 차단한다든지 SIEM 장비에서 사용하는 테이블에 따로 등록하여 내부 사용자가 접근하는 것을 탐지한다든지 등등 여러가지 방법으로 사용하고 있습니다. 

뭐 이미 다른 방법으로 매일매일 외부로부터 제공받는 악성코드 유포지 정보들이 있겠지만 제가 작성하려는 방법은 아래 주소에서 제공하는 악성코드 유포지 정보를 가공하여 정리하는 방법입니다. 

URLhaus | Malware URL exchange

URLhaus에는 매일매일 자체적으로 수집한 악성코드유포지 정보를 공유하고 있습니다. 저는 공유된 정보를 Python 스크립트를 통해 자동으로 수집하고 가공하여 추출된 정보를 바로 등록해서 방화벽 혹은 SIEM의 테이블에 저장될 수 있도록 사용하고자 하는 목적으로 제작을 해보았습니다. (그런데 지금 이직한 곳에서는 쓸일이 없네요! 전혀 다른 업무를 하는중..)

우선 URLhaus에 매일매일 어떤 정보를 제공하는지 확인을 해보죠!

위 홈페이지 접속을 하면 아래와 같은 화면이 보일거에요. 

여기서 "URLhaus database" 버튼을 클릭하면!

이러한 악성코드 유포지 정보들이 확인이 가능합니다. 특정 domain, url, md5, sha256, filetype 등을 검색할수도 있고요.

저는 처음에 이 페이지를 보고 매일 쌓이는 데이터를 최신날짜 버전으로 Python 스크립트를 통해 정보를 가져온 뒤 중복된 IP나 URL은 제거하고 뒤의 URI 부분도 제거하고 순수한 IP 및 URL 정보만을 추출하는 방향으로 작성을 해보았습니다. 

우선 최신 데이터가 쌓이는 CSV 파일은 아래와 같은 경로로 확인이 되었습니다. 

urlhaus.abuse.ch/downloads/csv_recent/

wget을 통해 파일을 가져온 결과 아래와 같이 확인이 되었고요... 

그런데 이 파일은 최신 데이터라고 해서 특정 날짜의 데이터만 저장되는것이 아니라 한 일주일치 저장하는것 같습니다.. (정확한것 아닙니다.. 너무 많아서 중간에 확인하다가 대충 짐작만 했을뿐...)

그래서 저는 오늘 날짜에서 -1 을한 날짜를 검색을 했고요.. 왜냐면 국내와의 시차로 인해 -1을 해주었습니다. 아침에 작업하면 저쪽 세계는 전날 저녁... 

그리고 추출한 데이터를 파싱파싱파싱하여서! 나타난 결과물은 아래와 같습니다.

짜잔.. 위와같이 정리가 되어 나타난 결과입니다 .

이제 이걸 가지고 차단을 하든 SIEM 테이블에 등록을 하든.. 헌팅을 하든 지지고 볶으면 되겠죠?

그런데 저는 과거에 위 정보를 가지고 작업시 주의해야될 부분이 있더라고요. 

만약 아웃바운드로의 방화벽 차단을 진행한다면, IP들은 반드시 ISP 업체를 확인해보시길 바랍니다. 

ISP 업체가 만약 AWS나 KT, SKT와 같은 업체라면.. 차단에 유의를 하시길 바랍니다. 

그럼 20000...

혹시 위 작성된 프로그램이 필요하시다면 블로그 댓글로 요청주시면 제가 보고 드리도록 하겠습니다. 

저번에 Snort 검색기도 드린다고 했는데 못찾아서 못드렸었죠... 그런데 최근에 찾아서 드릴 수 있습니다. ㅠㅠ 

필요하신분 댓글 가즈아!!