IWAZ Crawler

(주)아이와즈는 정보검색 원천 기술을 바탕으로 고객의 신뢰와 믿음을 실현하기 위한 최고의 솔루션이 될 것 입니다.

IWAZ Crawler

IWAZ Crawler는 방대한 웹과 데이터베이스, 파일, SNS 등의 다양한 환경에서 정보 수집 기능을 제공합니다. 또한 대용량 콘텐츠의 빠른 수집과 강력한 크롤링 기능을 통하여 웹 데이터를 포함한 DBMS, 파일 시스템, 게시판, 블로그, 카페, SNS 등에 존재하는 다양한 정형 및 비정형 빅데이터 수집이 가능합니다.

당사의 대용량 검색엔진인 IWAZ Search Server와 IWAZ Big Data Platform 솔루션과 연계되어 더욱 강력한 기능을 제공합니다. 다양한 고객의 요구에 대응할 수 있도록 유연한 수집 설정 기능을 제공하며, 수집 기술을 선도할 수 있는 최신기술을 채택하여 적용하고 있습니다.

지원환경OS 지원(Window 32bit/64bit, UNIX, Linux 등)

  • 시스템 구조 IWAZ Crawler 시스템구조
  • 주요기능 및 특징 - 다양한 콘텐츠 수집지원 (DB/File, 웹문서, 뉴스, 블로그, SNS, 이미지, 음악, 동영상 등)
    - 동적 웹페이지(Java Script, Ajax 해석 및 처리) 지원
    - 중복문서 및 데드링크 관리
    - 데이터 패턴기반 메타데이터 추출 및 금칙어/허용어 필터링
    - 수집 항목 지정(제목, 내용, 작성자 등) 정보 추출 지원
    - 대용량 검색을 위한 분산수집 및 색인지원
    - 데이터베이스 및 파일시스템 정보수집 및 관리
    - 안정된 시스템 운영(데이터 백업 및 롤백 기능)
    - GUI 기반 수집 등록, 규칙 설정 및 관리 기능 제공
    - 다양한 OS 지원(Window 32bit/64bit, UNIX, Linux 등)
    - 수집 데이터 조회 및 통계 서비스
    - 수집 차단 우회 및 방지 기능
    - 수집 시뮬레이션 지원
    - 다국어 처리(UTF-8 지원)
  • 활용처 · 뉴스 및 언론 데이터 수집
    · 지식베이스 구축을 위한 정형/비정형 데이터 수집
    · 소셜미디어 정보 수집
    · 회사 내부 데이터 수집
    · 빅데이터 분석을 위한 다양한 데이터 수집
    · 시스템 및 사이트 로그 데이터 수집
    · 블로그, 카페 수집 지원
    · 데이터베이스 및 파일 시스템 수집
    · 모바일 데이터 수집
    · Open API 데이터 및 공공 데이터 수집