수집엔진

(주)아이와즈는 정보검색 원천 기술을 바탕으로 고객의 신뢰와 믿음을 실현하기 위한 최고의 솔루션이 될 것 입니다.

IWAZ Crawler

빅데이터 검색 및 분석, 마이닝 등에 있어 필수적인 정보 수집 엔진인 IWAZ Crawler는 인터넷에 존재하는 다양한 정보를 수집할 수 있는 솔루션입니다.
IWAZ Crawler는 대용량 컨텐츠의 빠른 수집을 지원하며, 시스템 안정성 및 확장을 기반으로 설계된 수집엔진으로, 당사의 대용량 검색엔진인
IWAZ Search Server자연어 처리 기술과 연계되어 더욱 강력한 기능을 제공합니다.
또한 웹, 게시판, 블로그 등 다양한 수집방법을 유연하게 적용하여 정형데이터 뿐만 아니라 비정형 데이터를 효율적인 수집이 가능하도록 합니다.

IWAZ Crawler는 빅데이터 검색, 소셜 분석, 데이터 마이닝, Portal, 지식정보 관리, 고객관리 및 온라인 기술 분석과 같은 다양한 요구에 만족시킬 수 있는 기능과,
수집기술을 선도 할 수 있는 최신기술을 채택하여 적용하고 있습니다.

지원환경Windows 계열(32bit/64bit), UNIX(HP/IBM/SUN 등), Linux 기반 OS 플랫폼 지원

  • System Architecture IWAZ Crawler 아카이브
  • 주요기능 및 특징 - 문서, HTML, 이미지, 음악, 동영상 등 다양한 컨텐츠 수집지원
    - 데이터베이스 및 파일시스템 정보수집 지원
    - 블로그, 카페, 뉴스 수집 지원
    - 데이터 패턴기반 메타데이터 추출 지원(블로그, 게시판 등의 제목, 저자, 날짜 등)
    - 자바스크립트 해석 및 처리 기능
    - 다양한 문서 정보 자동 추출 기능 지원
    - 중복문서, 데드링크 처리 지원
    - 유니코드 및 다국어 데이터 지원
    - 수집대상 분류관리
    - 수집상태 및 오류 분석
    - 수집 스케쥴 관리
    - 시스템 이중화 데이터 압축기능
    - 시스템 안정성 지원(롤백, 백업)
  • 사용영역 - 데이터 마이닝, 빅데이터 분석, 제품 동향 정보 분석
    - 홈페이지 컨텐츠, 각종포탈 및 커뮤니티 게시판 등 통합 검색
    - 언론사 기사검색, 포털, 그룹웨어/ERP/KM/BPM 등 통합 검색 등