전체 글 (159) 썸네일형 리스트형 clone2 input { jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/atlasdb?useTimezone=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8" jdbc_user => "atlas" jdbc_password => "atlas" jdbc_validate_connection => true jdbc_driver_library => "/lib/postgres-42-test.jar" jdbc_driver_class => "org.postgresql.Driver" schedule => "* * * * *".. clone and expedia_airport_more table conf clone.conf input { jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/atlasdb?useTimezone=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8" jdbc_user => "atlas" jdbc_password => "atlas" jdbc_validate_connection => true jdbc_driver_library => "/lib/postgres-42-test.jar" jdbc_driver_class => "org.postgresql.Driver" schedule => .. multiple jdbc input and clone input { jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/atlasdb?useTimezone=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8" jdbc_user => "atlas" jdbc_password => "atlas" jdbc_validate_connection => true jdbc_driver_library => "/lib/postgres-42-test.jar" jdbc_driver_class => "org.postgresql.Driver" schedule => "* * * * *".. logstash clone 설정 하나의 인풋. 하나의 포트에서 multiple output... same host에 multiple 한 index output 설정 정확히 말하면 하나의 테이블에서 2개의 인덱스 동기화 또 다른 테이블도 가져와야하긴 함. input { jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/atlasdb?useTimezone=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8" jdbc_user => "atlas" jdbc_password => "atlas" jdbc_validate_connection => .. elasticsearch max_result_window 설정 보통 지금 작업 중인 elasticsearch의 document 수는 pg 테이블 기준으로 따라감. 대략 70만개 이상. 아래 슬라이드 참고했을 시. 사항. 관리자 페이지에서 굳이굳이; 누가하라고 ㅈㄹ해서 그닥 안봐도 되는 페이징을 하다보니 max_result_window를 80만까지 설정해두었는데. 성능을 버리면서까지 이렇게 할 필요없었던 것 같음. 인덱스를 새로 만들때도 아무래도 기존 인덱스의 설정 그대로 가져와서 추가해줘야하니까. 첨에 만들때부터 똑바로 서비스를 만드는게 나은것같음. 스택오버플로우 참고 (https://stackoverflow.com/questions/35206409/elasticsearch-2-1-result-window-is-too-large-index-max-result-win.. logstash 설정 Logstash 서버 211.233.74.227 pg table : expedia_region_union → ES index : region_union 연동 conf vi /etc/logstash/conf.d/pg-logstash-es-05-18-mon.conf jvm.options vi /etc/logstash/jvm.options : -Xms12g -Xmx12g로 변경 startup.options vi /etc/logstash/startup.options : 설정 확인 pipelines.yml 디폴트 파일 /etc/logstash/pipelines.yml을 /etc/logstash/pipelines-default.yml로 변경 (해당 파일은 conf.d 경로 아래있는 conf 파일 모두 읽음) /et.. logstash conf input { jdbc { jdbc_connection_string => "jdbc:postgresql://IP:25432/atlasdb" jdbc_user => "USER" jdbc_password => "PW" jdbc_driver_library => "/lib/postgresql-42.2.12.jar" jdbc_validate_connection => true jdbc_driver_class => "org.postgresql.Driver" columns_charset => {"region_name_kr" => "UTF-8"} schedule => "*/10 * * * *" statement => "SELECT region_id, st_asgeojson(center_geo_point)::text as.. alias 변경 예시 curl -XPOST 'https://atlas-search.회사.com/_aliases?pretty' -H 'Content-Type: application/json' -d' { "actions" : [ { "remove" : { "index" : "region_union_20200513_1", "alias" : "region_union" } }, { "add" : { "index" : "expedia_region_union_backup_047", "alias" : "region_union" } } ] }' 이전 1 2 3 4 5 6 7 ··· 20 다음