ElasticSearch 간단 정리

특징

• 도큐먼트

데이터가 저장되는 기본 단위이며 JSON형태

7.x 버전이후에는 타입이 삭제되면서 RDMS와 비교할 시 아래와 같이 이해하면 좋다.

table index

rdbms	es
table	index
record	document
column	field
schema	mapping

• 분석기(Analyzer)에 의해 분석 후 토큰으로 분리
• 검색어 요청이 오면 분석기를 통해 분석된 토큰과 일치여부 판단 후 결과에 score을 매김
  • 다양한 검색기능을 위해 Query DSL이란 쿼리 문법 존재

인덱스

도큐먼트를 저장하는 논리적 단위

다이나 맥 매핑

인덱스 생성 후 매핑을 설정하지 않고 데이터를 넣자마자 엘라스틱서치가 자동으로 입력된 데이터를 보고 자동으로 결정 그의 반대는 명시적 매핑

 

index 관련 요청

모든 index조회

# curl -XGET 'localhost:9200/_cat/indices?v'

alias 관련 요청

alias 조회

curl -X GET 'localhost:9200/_cat/aliases?v'

alias 생성

POST /_aliases?pretty
{
  "actions": [
    {
      "add": {
        "index": "company_index",
        "alias": "company_tmp"
      }
    }
  ]
}

---

검색

• 검색은 인덱스 단위로 검색
• GET <인덱스명>/_search 형식으로 사용하며 쿼리를 입력하지 않으면 전체 도큐먼트 검색

기본 검색

docment 내용 중 java라는 내용이 들어있는 document검색

GET index1/_search?q=java

쿼리 검색 결과

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,//검색결과 count
      "relation" : "eq"
    },
    "max_score" : 5.2783985,
    "hits" : [//정확도가 높은 순으로 출력
      {
        "_index" : "index1",
        "_type" : "_doc",
        "_id" : "QEdBHYEBA0g9hlFCkg_S",
        "_score" : 5.2783985,
        "_source" : {
          "company_id" : 1,
          "post_id" : "post-20326-1",
          "title" : "케네스 라우",
          "full_content" : "",
          "tag" : [
            "#Technical Writing"
          ]
        }
      },
      {
        "_index" : "index1",
        "_type" : "_doc",
        "_id" : "Rkc-HYEBA0g9hlFCGw5w",
        "_score" : 3.2347195,
        "_source" : {
          "company_id" : 1,
          "post_id" : "post-121447-1",
          "title" : "Alan Davalos",
          "full_content" : "",
          "tag" : [
            "#Web Development",
            "#Web Development"
          ]
        }
      }
    ]
  }
}

논리연산자를 통한 검색

예) 작성자와 글 제목으로 상세검색

GET test/_search?q=value AND three

특정 필드 검색

GET test/_search?q=value AND three

 

---

만났던 이슈

1. 노리 플러그인 미설치 이슈

Unknown tokenizer type [nori_tokenizer] for [korean_nori_tokenizer]

노리 플러그인이 설치 되지않아서 나는 오류

elastic search.yml 재설정 후 도커 재시작했더니 nori 초기화

docker exec -it es01 /bin/bash
cd /usr/share/elasticsearch/bin/
./elasticsearch-plugin install analysis-nori

컨테이너 접속 후 노리 플러그인 설치 후 컨테이너 재시작 해야한다.

 

2. logstash에서 elasticsearch로 bulk insert시 컨텐츠 길이 문제

/config/elasticsearch.yml에 http:.max_content_length 설정이 있는데 설정된 용량보다 초과된 메시지를 보내면 아래 에러가 난다.

 

[2022-06-25T14:32:08,741][ERROR][logstash.outputs.elasticsearch][main]
[354953e725df2fa2db15038a6b15d07cfbe8af411ec4e89ee6f5dfbbc81d5364]
 Encountered a retryable error (will retry with exponential backoff)
 {:code=>400, :url=>"http://[IP:port]/_bulk", :content_length=>37171}

엘라스틱서치를 리눅스 서버에 docker compose로 띄우고  elasticsearch.yml은 따로 설정하지 않았던 상태여서

volume에 아래와 같이 설정 파일을 매핑해줬다.

volumes:
      - es-data01:/usr/share/elasticsearch/data
      - /usr/workspace/elastic-dockercompose/config/elasticsearch.yml:/etc/elasticsearch/config/elasticsearch.yml

elasticsearch.yml에는 메세지 용량의 사이즈 설정을 늘려서 세팅했다.

http:.max_content_length: 1024mb

---

참고사이트

Elasticsearch - 2.검색 API(Elasticsearch Query DSL)

4.4 검색 API - _search API

https://honeyinfo7.tistory.com/87