VoidNoble IT Zone

구조도구성품IoT devices: 라즈베리파이 등 MQTT ClientMQTT Broker: EMQ (https://www.emqx.io)Kafka producer: Kafka Junction (https://github.com/brycemcd/MQTT-to-Kafka)Kafka consumer: Logstash + kafka input plugin + elasticsearch output pluginKafka (+ Zookeeper)Elastic stack프로세스IoT 기기에서 MQTT 프로토콜로 MQTT Broker 에 hello-kafka 토픽에 데이터 전송(=pub). Kafka Producer 인 Kafka bridge 에서 MQTT Broker (종류 중 Emqx 사용함)의 hello-kafk..

ElasticSearch 버젼이 5.x 이상이면 open korean text 를 추천하고 이하이면 은전한닢 또는 arirang 추천. ElasticSearch 5.x 대의 arirang 은 ElasticSearch 재시작 1회 후 형태소 분석이 1자만 되는 이슈 발생함. "홍길동" 검색시 "홍"이라는 단어만 분석되어 "홍길동" 검색시 "홍"이 들어간 모든 문서 검색되어버림. 즉, "얏홍"과 같은 구문까지 검색되는 문제 발생함. Index 설정은: PUT /my_index/_settings { "analysis": { "filter": { "my_stop": { "type": "stop", "stopwords": [ "and", "is", "the" ] } }, "analyzer": { "my_ngram..

Index 설정을 변경하려면 close -> 설정 -> open 하면 됩니다. POST /my_index/_close PUT /my_index/_settings { "analysis": { "filter": { "my_stop": { "type": "stop", "stopwords": [ "and", "is", "the" ] } }, "analyzer": { "my_ngram_analyzer": { "tokenizer": "my_ngram_tokenizer" }, "openkorean_analyzer": { "type": "custom", "tokenizer": "openkoreantext-tokenizer", "filter": [ "openkoreantext-redundant-filter", "open..

인덱스의 Type의 매핑을 변경하려면 새 인덱스를 만들어서 재인덱싱을 해 주는 수 밖에 없으며 방법은 아래와 같습니다. 기존 인덱스명 보존은 별칭(alias)으로 설정하여 해결합니다. 현재 인덱스 news-2018 새 인덱스 news_2018_v2 새 설정/매핑으로 생성 PUT /news_2018_v2 { "settings": { "analysis": { "analyzer": { "my_ngram_analyzer": { "tokenizer": "my_ngram_tokenizer" }, "openkorean_analyzer": { "type": "custom", "tokenizer": "openkoreantext-tokenizer", "filter": [ "openkoreantext-redundant-fi..