보안 연구원을 위한 인터넷 데이터 검색 엔진

로

오늘날 디지털 보안 전문가를 포함한 모든 이들에게 검색 엔진은 필수적인 도구가 되었습니다.

제품에 대한 리뷰를 찾아보거나, 단어의 다른 표현을 탐색하거나, 심지어 숙박 시설을 예약할 때도 검색 엔진을 활용합니다.

Google의 성공은 압도적이며, 그에 따라 Safari, Bing, Yandex, DuckDuckGo 등 다양한 검색 엔진이 등장했습니다.

하지만 인터넷에 공개된 검색 엔진을 통해 모든 정보를 얻을 수 있다고 생각하시나요?

제 대답은 ‘아니오’입니다.

만약 회사 또는 웹사이트의 보안에 중요한 정보를 찾아야 한다면 어떻게 해야 할까요?

일반 검색 엔진에서 해당 데이터를 얻을 수 없다면 어떻게 할까요?

걱정하지 마세요! 해결책이 있습니다.

특히 사이버 보안팀과 보안 연구원들의 요구를 충족시키기 위해 설계된 특정 검색 엔진들이 있습니다. 이러한 검색 엔진은 보안 관련 업무에 활용할 수 있는 귀중한 정보를 찾는 데 큰 도움이 됩니다.

이러한 도구를 이용해 노출된 인터넷 장치를 식별하고, 잠재적인 위협을 추적하며, 취약점을 분석하고, 피싱 시뮬레이션을 준비하며, 네트워크 보안 위반을 감지하는 등 다양한 작업을 수행할 수 있습니다.

이 글에서는 이러한 전문 검색 엔진에 대해 자세히 알아보고, 보안 연구에 활용할 수 있는 최고의 검색 엔진들을 살펴보겠습니다.

보안 연구에서 정보 수집의 중요성

보안을 목적으로 정보를 수집하는 것은, 연구자가 데이터를 보호하고 잠재적인 위협을 분석하기 위해 수행하는 가장 첫 번째 단계입니다.

이 과정은 두 가지 주요 목표를 포함합니다.

  • 운영체제 호스트 이름, 시스템 유형, 시스템 배너, 시스템 그룹, 열거 정보 등 시스템 관련 데이터를 수집합니다.
  • 사설 네트워크, 공용 네트워크, 관련 네트워크 호스트, 도메인 이름, 라우팅 케이블, 사설 및 공용 IP 블록, 개방형 포트, SSL 인증서, UDP 및 TCP 실행 서비스 등 네트워크 정보를 수집합니다.

이러한 데이터 수집의 장점은 다음과 같습니다.

  • 네트워크에 연결된 모든 장치, 사용자, 위치를 파악하여 보안을 강화할 수 있습니다. 만약 이상한 점이 발견되면 시스템이나 사용자를 차단하여 네트워크를 보호할 수 있습니다.
  • 수집된 정보는 보안 문제가 발생하기 전에 취약점을 발견하는 데 도움이 됩니다.
  • 피싱, 악성코드, 봇 등 가능한 공격 패턴과 그 방법을 이해할 수 있습니다.
  • 데이터를 사용하여 제품의 성능과 수익성이 가장 높은 부분을 파악하고 시장 정보를 얻어 제품 개발에 반영할 수 있습니다.

이제 보안 전문가에게 유용한 최고의 인터넷 데이터 검색 엔진을 살펴보겠습니다.

쇼단

쇼단은 인터넷에 연결된 장치에 대한 보안 연구를 수행하는 데 가장 효과적인 검색 엔진 중 하나입니다. 전 세계적으로 수많은 보안 전문가, 연구원, CERT 기관, 대기업 등이 이 도구를 사용하고 있습니다.

쇼단은 웹사이트뿐만 아니라 웹캠, 사물 인터넷(IoT) 기기, 냉장고, 건물, 스마트 TV, 발전소 등 다양한 장치에 대한 정보를 제공합니다. 쇼단을 이용하면 인터넷에 연결된 장치의 위치와 사용자를 파악할 수 있습니다. 이를 통해 디지털 발자국을 추적하고 인터넷을 통해 직접 액세스할 수 있는 네트워크 내의 모든 시스템을 모니터링할 수 있습니다.

쇼단을 통해 경험적 비즈니스 및 시장 정보를 수집하여 누가 귀사의 제품을 활용하고 있는지, 그들의 위치는 어디인지 파악하여 경쟁 우위를 확보할 수 있습니다. 쇼단 서버는 전 세계에 분산되어 있으며, 연중무휴로 최신 정보를 얻고 데이터를 분석할 수 있도록 지원합니다.

특정 제품의 잠재적 구매자를 식별하거나, 가장 많이 생산하는 국가를 파악하거나, 보안 취약점 또는 공격의 영향을 가장 많이 받는 기업을 찾는 데 유용한 도구입니다. 쇼단은 다른 도구가 쇼단의 데이터에 접근할 수 있도록 공개 API를 제공하며, Nmap, Chrome, Firefox, FOCA, Maltego, Metasploit 등과의 연동을 지원합니다.

줌아이

중국 최초의 사이버 공간 검색 엔진인 줌아이는 Knownsec에서 제공합니다. 줌아이는 IPv6, IPv4 및 사이트 도메인 이름 데이터베이스를 기반으로 수많은 매핑 노드를 통해 연중무휴로 다양한 서비스 프로토콜과 포트를 스캔하여 로컬 또는 전체 사이버 공간을 매핑합니다.

수년간의 기술 혁신을 통해 자체적인 핵심 사이버 공간 검색 엔진을 개발할 수 있게 되었습니다. 이를 통해 시간과 공간에 걸쳐 동적으로 매핑된 누적된 데이터에 대한 추세 분석을 효과적으로 수행할 수 있습니다.

줌아이의 구성 요소 검색 탐색 기능을 통해 목표 자산을 정확하고 신속하게 찾을 수 있습니다. 이를 위해 게이트웨이, CDN, 빅데이터, 음성 녹음기, CMS, 웹 프레임워크, 소프트웨어 플랫폼 등 다양한 장비 유형을 활용합니다.

또한 특정 주제에 대해 검색하고 취약점 영향 평가를 확인할 수도 있습니다. 여기에는 데이터베이스, 산업, 블록체인, 방화벽, 라우터, 네트워크 스토리지, 카메라, 프린터, WAF, 네트워크 스토리지 등이 포함됩니다. 보고서를 확인하여 자세한 정보를 얻을 수 있습니다. 줌아이는 월 10,000건의 결과를 제공하는 무료 요금제를 제공하며, 유료 플랜은 월 35달러부터 시작하여 30,000건의 결과를 제공합니다.

센시스

센시스 REST API는 보안을 위한 데이터 검색을 수행하는 데 또 다른 안전하고 신뢰할 수 있는 선택지입니다. 웹 인터페이스를 통해 이용할 수 있는 것과 동일한 정보를 이 API를 통해 프로그래밍 방식으로 접근할 수 있습니다.

모든 스크립트 액세스를 위해서는 이 도구가 필요합니다. API 엔드포인트는 API ID를 통해 HTTP 인증을 요구합니다. 센시스는 다음과 같은 여러 API 엔드포인트를 제공합니다.

  • Alexa Top Million, IPv4, 인증서 인덱스 검색을 위한 검색 엔드포인트. 이 엔드포인트는 선택한 필드에 대한 최신 데이터를 제공합니다.
  • View 엔드포인트는 웹사이트 도메인, 호스트의 IP 주소, 인증서의 SHA-256 지문을 입력받아 특정 웹사이트, 호스트, 인증서에 대한 구조화된 데이터를 수집합니다.
  • 보고서 엔드포인트를 통해 특정 쿼리에 대해 가져온 결과의 집계 값을 분석할 수 있습니다.
  • 대량 엔드포인트는 해당 인증서의 SHA-256 지문이 있으면 대량 인증서와 관련된 구조화된 데이터를 수집합니다.
  • 계정 엔드포인트는 현재 쿼리의 할당량 사용량을 포함하여 센시스 계정 데이터를 가져옵니다.
  • 데이터 엔드포인트는 센시스에서 다운로드할 수 있는 정보의 메타데이터를 보여줍니다.

그레이노이즈

간단한 인터페이스를 통해 데이터 연구를 시작하려면 그레이노이즈를 사용해 보세요. 그레이노이즈는 IP 주소에 대한 데이터를 선별하여 보안 도구의 부담을 줄이고, 보안 분석가에게 불필요한 경고를 줄여줍니다.

그레이노이즈의 RIOT(Rule It Out) 데이터 세트는 사용자와 비즈니스 애플리케이션(예: Slack, Microsoft 365 등), 또는 네트워크 서비스(예: DNS 서버 또는 CDN) 간의 통신 맥락을 제공합니다. 이러한 즉시 사용 가능한 관점을 통해 분석가는 무해하거나 관련 없는 활동을 자신 있게 무시하고 실제 위협을 조사하는 데 집중할 수 있습니다.

데이터는 TIP 통합, 명령줄 도구 및 API와 함께 SOAR, SIEM을 통해 제공됩니다. 그 외에도 분석가는 위의 플랫폼 또는 그레이노이즈의 분석 및 시각화 도구를 사용하여 활동을 확인할 수 있습니다. 인터넷을 스캔하는 시스템이 감지되면 해당 장치가 손상되었을 수 있다는 경고를 즉시 제공합니다.

보안 팀은 GNQL(GrayNoise Query Language)을 사용하여 데이터를 탐색하여 웹 전반에서 거래를 발견할 수 있습니다. 이 도구는 CVE 및 태그를 사용하여 동작을 식별하고 위협 발생을 표시합니다. 또한 수천 개의 IP 주소에서 수집된 데이터를 강화 및 분석하여 공격자의 의도와 방법을 파악합니다.

SecurityTrails

정확하고 포괄적인 데이터를 통해 보안을 강화하고 자신 있게 비즈니스 의사 결정을 내리려면 SecurityTrails를 이용해 보세요. 이 API는 빠르고 항상 이용 가능하여, 시간 낭비 없이 과거 및 현재 데이터에 액세스할 수 있습니다.

전체 인덱싱되어 항상 접근할 수 있는 DNS 레코드 기록을 확인할 수 있습니다. 약 30억 건의 현재 및 과거 WHOIS 데이터에서 WHOIS 변경 사항을 검색할 수 있습니다. 데이터베이스는 매일 업데이트되며, 현재 2억 3백만 건 이상의 데이터를 보유하고 있으며, 이는 계속해서 증가하고 있습니다.

이 데이터를 사용하여 도메인 이름과 실행 중인 웹사이트 기술을 검색합니다. 매달 10억 개 이상의 항목에서 수동 DNS 데이터 세트에 액세스할 수 있습니다. 또한 IP, 호스트 이름 및 도메인에 대한 최신 정보를 실시간으로 확인할 수 있습니다.

현재까지 알려진 모든 하위 도메인을 찾을 수도 있습니다. SecurityTrails는 인덱싱된 인텔리전스 및 태깅 기능을 통해 쉽고 빠르게 데이터를 검색할 수 있도록 합니다. API를 사용하여 의심스러운 DNS 레코드 변경 사항을 확인하고 연관성을 파악할 수 있습니다.

평판 점수 시스템을 통해 데이터에 접근하여 악의적인 행위자와 그들의 IP 및 도메인을 식별하고 방어할 수 있습니다. 명령 및 제어 서버를 추적하여 악성코드 정보를 얻어 위협을 추적할 수 있습니다.

온라인 사기 조사를 수행하고, 인수 및 합병을 확인하고, 숨겨진 세부 정보 및 온라인 자산을 문제없이 찾을 수 있습니다. 브랜드 상표 또는 기타 저작권 자료가 사기 도메인에 사용되는 경우를 파악하여 브랜드를 보호하십시오.

결론

사이버 보안 문제가 증가하고 있으므로, 다른 사람이 악용하기 전에 취약점을 강화하여 데이터와 개인 정보를 보호하는 것이 가장 중요합니다.

이러한 인터넷 데이터 검색 엔진을 활용하여 필요한 검색을 수행하고 공격자보다 한발 앞서서 더 나은 비즈니스 의사 결정을 내리시기 바랍니다.