Azure SQL(이하 sql)의 data를 ElasticSearch(이하 es)로 검색을 하기 위해서 sql 데이터를 es의 index로 옮겨야 한다. 데이터를 옮기는 방법은 여러가지 방법이 있지만 일반적으로 많이 쓰이는 데이터 처리 오픈소스인 Logstash를 사용하여 옮기는 방법을 알아보자.
Logstash를 운영하는 방식도 다양하지만 간단하게 사용하려면 역시 K8S만 한 것이 없기 때문에 K8S에 구성해보자.
ConfigMap
apiVersion: v1
kind: ConfigMap
metadata:
name: logstash-configmap-start
namespace: search
labels:
task: sql-search-init
data:
start.sh: |
#!/bin/bash
curl -L -O https://go.microsoft.com/fwlink/?linkid=2203102
tar -xvf ./sqljdbc_11.2.0.0_kor.tar.gz
mv ./sqljdbc_11.2/enu/mssql-jdbc-11.2.0.jre11.jar ./lib/mssql-jdbc-11.2.0.jre11.jar
- start.sh 에서는 jdbc 드라이버를 셋팅하는 작업을 수행한다. 이 링크에서 항상 최신 버전의 jdbc 드라이버를 확인하는 것을 권장한다.
apiVersion: v1
kind: ConfigMap
metadata:
name: logstash-configmap
namespace: search
labels:
task: sql-search
data:
logstash.yml: |
http.host: "127.0.0.0"
path.config: /usr/share/logstash/pipeline
logstash.conf:
input {
jdbc {
jdbc_driver_library => "/usr/share/logstash/lib/mssql-jdbc-11.2.0.jre11.jar"
jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
jdbc_connection_string => "jdbc:sqlserver://{database server}:1433;database={Database name};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"
jdbc_user => "{user}"
jdbc_password => "{password}"
statement => "{SQL Query statement};"
schedule => "{CRON}"
tracking_column => "{tracking column}"
}
}
output {
elasticsearch {
hosts => "{elastic host}"
index => "{index name}"
document_id => "%{index id name}"
user => elastic
password => "{elastic password}"
}
stdout {
codec => rubydebug
}
}
- input
- jdbc_connection_string 에서는 접속할 Azure SQL의 connection string을 넣어 주면된다.
- jdbc_user SQL 접속 계정 정보 값을 넣어준다. logstash 전용 계정을 만들어 사용하는 것을 권장한다.
- jdbc_password 계정 비밀번호 값을 넣어준다.
- statement index에 담을 table 혹은 작성한 query를 넣어 준다.
- schedule 얼마 만큼 반복 작업을 할 것인지 스케줄을 정한다. 표기는 CRON을 사용한다.
- tracking_column 데이터 변경에 대한 기준이 되는 column을 넣어 준다 (ex. timestemp)
- output
- hosts elastic host 정보를 넣어준다.
- index SQL정보를 저장할 index 이름
- document_id 인덱스에 저장할 문서를 식별할 키 값
- password elstic에 접속할 비밀번호
Deployment
apiVersion: apps/v1
kind: Deployment
metadata:
name: sql-logstash
namespace: search
spec:
replicas: 1
selector:
matchLabels:
task: sql-search
template:
metadata:
labels:
task: sql-search
spec:
containers:
- name: logstash
image: docker.elastic.co/logstash/logstash:8.4.2
ports:
- containerPort: 5044
imagePullPolicy: Always
volumeMounts:
- mountPath: /usr/share/logstash/config
name: config-volume
- mountPath: /usr/share/logstash/pipeline
name: logstash-pipeline-volume
- mountPath: /start
name: start
lifecycle:
postStart:
exec:
command:
- /start/start.sh
volumes:
- name: config-volume
configMap:
name: logstash-configmap
items:
- key: logstash.yml
path: logstash.yml
- name: logstash-pipeline-volume
configMap:
name: logstash-configmap
items:
- key: logstash.conf
path: logstash.conf
- name: start
configMap:
name: logstash-configmap-start
defaultMode: 0777
securityContext:
fsGroup: 101
Service
apiVersion: v1
kind: Service
metadata:
labels:
task: sql-search
kubernetes.io/name: logstash
name: sql-logstash
namespace: search
spec:
ports:
- port: 5000
targetPort: 5000
selector:
k8s-app: logstash
Configmap 부터 Service 까지 순서대로 모두 K8S에 적용해 주면 된다.
(여러 개의 파일로 보는 것이 귀찮다면 하나의 yaml에 모두 넣어서 한번에 실행해도 된다.)
THE NEWTH 