Azure SQL(이하 sql)의 data를 ElasticSearch(이하 es)로 검색을 하기 위해서 sql 데이터를 es의 index로 옮겨야 한다. 데이터를 옮기는 방법은 여러가지 방법이 있지만 일반적으로 많이 쓰이는 데이터 처리 오픈소스인 Logstash를 사용하여 옮기는 방법을 알아보자.
Logstash를 운영하는 방식도 다양하지만 간단하게 사용하려면 역시 K8S만 한 것이 없기 때문에 K8S에 구성해보자.
FOR XML could not serialize the data for node ‘[ Column name]’ because it contains a character (0x001F) which is not allowed in XML. To retrieve this data using FOR XML, convert it to binary, varbinary or image data type and use the BINARY BASE64 directive.
XML로 변활 할 대상 데이터에 ASCII control code가 포함되어 있어서 발생하는 경우이다. 그래서 대상 데이터 안에 포함 되어 있는 해당 아래 스크립트 같이 XML로 변환 전에 모두 치환해 주어야 한다.
SELECT
REPLACE([Column name], char(0), '')
FROM
[Table Name]
Control code를 삭제하는 Function을 만들어 두면 필요할 때 가져다 쓰면 좋다.
CREATE FUNCTION [dbo].[FN_ReplaceControlCharacter]
(
@mString NVARCHAR(MAX)
)
RETURNS NVARCHAR(MAX)
AS
BEGIN
SET @mString = REPLACE(@mString, char(0), '')
SET @mString = REPLACE(@mString, char(1), '')
SET @mString = REPLACE(@mString, char(2), '')
SET @mString = REPLACE(@mString, char(3), '')
SET @mString = REPLACE(@mString, char(4), '')
SET @mString = REPLACE(@mString, char(5), '')
SET @mString = REPLACE(@mString, char(6), '')
SET @mString = REPLACE(@mString, char(7), '')
SET @mString = REPLACE(@mString, char(8), '')
SET @mString = REPLACE(@mString, char(9), '')
SET @mString = REPLACE(@mString, char(10), '')
SET @mString = REPLACE(@mString, char(11), '')
SET @mString = REPLACE(@mString, char(12), '')
SET @mString = REPLACE(@mString, char(13), '')
SET @mString = REPLACE(@mString, char(14), '')
SET @mString = REPLACE(@mString, char(15), '')
SET @mString = REPLACE(@mString, char(16), '')
SET @mString = REPLACE(@mString, char(17), '')
SET @mString = REPLACE(@mString, char(18), '')
SET @mString = REPLACE(@mString, char(19), '')
SET @mString = REPLACE(@mString, char(20), '')
SET @mString = REPLACE(@mString, char(21), '')
SET @mString = REPLACE(@mString, char(22), '')
SET @mString = REPLACE(@mString, char(23), '')
SET @mString = REPLACE(@mString, char(24), '')
SET @mString = REPLACE(@mString, char(25), '')
SET @mString = REPLACE(@mString, char(26), '')
SET @mString = REPLACE(@mString, char(27), '')
SET @mString = REPLACE(@mString, char(28), '')
SET @mString = REPLACE(@mString, char(29), '')
SET @mString = REPLACE(@mString, char(30), '')
SET @mString = REPLACE(@mString, char(31), '')
RETURN @mString
END
0부터 31까지 순차적으로 있어서 While Loop를 사용하면 간결하게 보일 수 있긴 하지만, 데이터가 많은 경우(ex 100만개 이상의 row) 2배 이상의 속도 차이가 날 수 있다. 성능을 고려해야 한다면, 최대한 필요한 Control code를 특정 지어서 직접 치환하는 것을 권장한다.
선 그래프는 2020년 7월부터 2021년 2월까지 신규 확진자 수를 나타내고 있으며 막대 그래프는 전일 대비 신규 확진자 증감률을 나타내고 있다. 막대 그래프의 색은 증감률 데이터가 100 이하로 감소하면 푸른 계열로 바뀌고, 증가하면 붉은 계열로 바뀌도록 되어 있다.
Custom type을 정의하면 Stored procedure(이하 SP)에 List(or Array) 형태의 정보를 전달하여 처리 할 수 있다.
먼저, List로 전달할 정보를 담을 Custom table type을 정의한다. 객체 정보를 담는 Class를 정의한다고 생각하면 된다.
CREATE TYPE CodeList
AS TABLE
(
Code varchar(32)
);
SP에 변수를 type을 위에서 만든 Custom type으로 정의한다. 그러면, SP는 정의된 Table 정보를 받아 처리 할 수 있게 된다.
CREATE PROCEDURE GetInfoByCodes
@pCodeList AS CodeList READONLY
AS
BEGIN
SET NOCOUNT ON;
SELECT * FROM InfoTable
WHERE Code in (SELECT * FROM @pCodeList)
END
GO
임의로 Custom table type으로 만든 변수를 만들어 다음과 같이 SP를 실행해 볼 수 있다.
DECLARE @pCodes CodeList
INSERT INTO @pCodes VALUES('A40274208')
INSERT INTO @pCodes VALUES('A10028014')
INSERT INTO @pCodes VALUES('A56087115')
EXEC GetInfoByCodes @pCodeList = @pCodes
Option Pattern은 Ubiquitous design pattern 중 하나로 web.config와 같은 Application의 모든 환경 설정 넣어서 사용하는 파일을 목적에 맞는 클래스들로 분리 시키고 인터페이스로 추상화하여 사용할 수 있도록 해준다.
이러한 이유로, Option Pattern을 사용하면 소프트웨어 엔지니어링 원칙중 2가지를 따를 수 있게 된다. 하나의 기능에 대한 환경 설정을 위한 클래스로 분리해서 사용하기 때문에 SRP(Single Responsibility Principle)를 따르게 되며, 인터페이스를 통해서 클래스의 값을 주입 받기 때문에 ISP(Interface Segregation Principle)를 따르게 된다.
기존에 web.config에 설정된 환경 변수들을 사용할때는 다음과 같이 String 타입인 XML 값을 읽어와야 했다. 그리고 필요에 따라 String 타입을 필요한 타입에 맞추어 Cast 해서사용해야 했다.
하지만, Option Pattern을 사용하다면, 미리 정의된 클래스 속성에 맞추어 Injection 과정에서 Cast가 진행되기 때문에 바로 사용할 수 있는 편리함이 있다. 그리고 미리 정의된 클래스 속성 이름을 참조하여 사용하기 때문에 항상 동일한 이름을 일관되게 코드에 적용 할 수 있게 되며, 참조 추적을 통해 얼마나 많은 곳에 해당 환경 설정이 사용되고 있는지 영향도 파악을 할 수 있게 되는 장점을 얻을 수 있다.
Option Pattern은 .Net Core부터는 Option pattern이 기본 패키지로 제공되기 때문에 쉽게 사용할 수 있다. 하지만 점점 EOS(End Of Service)가 공지되고 있는 .Net Framework는 그렇지 않기 때문에 만들어 사용해야 한다.
아래 구현된 소스코드는 .Net Framework 4.8 LTS 기준으로 작성되었고 Injector는 Simple Injector를 사용하였다. 전체 소스는 Github를 참고하길 바란다.
public class SecretOptions
{
[Option("SecretName")]
public string secretName { get; set; }
[Option("SecretKey")]
public string secretKey { get; set; }
}
Options Interface
public interface IOptions<T>
{
T Value { get; }
}
Options Concrete
public class Options<T> : IOptions<T>
{
private readonly T model;
private readonly List<string> AppSettingNames;
public Options()
{
AppSettingNames = ConfigurationManager.AppSettings.AllKeys.ToList();
T instance = Activator.CreateInstance<T>();
model = (T)SetConfig(instance.GetType());
}
private object SetConfig(Type type)
{
object instance = Activator.CreateInstance(type);
var instanceProperties = instance.GetType().GetProperties();
foreach (var property in instanceProperties)
{
//If it is a hierarchical option class, it is searched recursively.
if (property.GetCustomAttribute<OptionObjectIgnoreAttribute>() != null)
{
property.SetValue(instance, SetConfig(property.PropertyType));
}
//If an attribute does not have an 'OptionAttribute', the value is searched by the attribute's original name.
//but if there is, the value is searched by the set name at 'OptionAttribute'
var name = AppSettingNames.FirstOrDefault(m => property.GetCustomAttribute<OptionAttribute>() == null ?
property.Name.Equals(m, StringComparison.InvariantCultureIgnoreCase) :
property.GetCustomAttribute<OptionAttribute>().keyName.Any(n => n.Equals(m, StringComparison.InvariantCultureIgnoreCase)));
var value = ConfigurationManager.AppSettings.Get(name);
if (!value.Equals(String.Empty))
{
property.SetValue(instance, Convert.ChangeType(value, property.PropertyType));
}
}
return instance;
}
public T Value
{
get
{
return model;
}
}
}
Global.asax
var container = new Container();
container.RegisterMvcControllers(Assembly.GetExecutingAssembly());
//Injection form Web.config settings to Option Model
container.Register<IOptions<SecretOptions>, Options<SecretOptions>>(SimpleInjector.Lifestyle.Singleton);
DependencyResolver.SetResolver(new SimpleInjectorDependencyResolver(container));
On-Prem이나 VM 형태로 사용하던 MSSQL Server를 Azure SQL로 Migration을 한다고 가정해보자. 기존에 사용하던 처리 성능에 맞춰 Cloud 상에 알맞은 수준의 리소스를 준비하고 옮겨야 할 것이다.
기존에 사용하던 SQL Server는 CPU와 Memory, Disk I/O등 Hardware적인 요소로 처리 성능을 나타낸다. 하지만 Azure SQL에서는 DTU(Database Throughput Unit)라는 단위를 사용하여 처리 성능을 나타내기 때문에 성능 비교가 쉽지가 않다.
DTU는 Hardware 성능 요소인 CPU, Disk I/O와 Database Log flush 발생양을 이용하여서 계산해낸 단위이다. 때문에 MSSQL Server에서 각 Metric들을 추출해 낼 수 있다면, DTU를 계산해 낼 수 있다. DTU 계산은 이미 Azure DTU Calculator라는 계산기가 제공되고 있기 때문에 추출해낸 Metric 값들을 설명대로 잘 넣어 주기만 하면 쉽게 확인해 볼 수 있다.
Metric을 추출하는 방법은 대상이 되는 SQL Server에서 DTU Calculator에서 제공하는 PowerShell Script를 관리자 권한으로 실행시켜 주기만 하면 된다. Script는 CPU, Disk I/O, Database Log flush에 대한 Metric들을 DTU Calculator에서 요구하는 형식으로 추출해준다. 때문에 일반적으로 On-Prem이나 VM 형태로 MSSQL Server를 사용하고 있다면, 계산해 내는데 별다른 어려움이 없을 것이다.
하지만 AWS RDS for MSSQL 같은 경우 MSSQL Server를 AWS에서 Cloud Service로 제공하기 위해 Wrapping한 서비스다보니 SQL Server에 대한 관리자 권한을 얻을 수가 없다. 이러한 이유 때문에 DTU Calculator에서 제공하는 PowerShell Script를 사용할 수 가 없다.
이런 경우, DTU 계산에 필요한 Metric들을 AWS에서 별도로 추출해야 한다. AWS에는 Cloudwatch라는 서비스를 제공하고 있는데, AWS 서비스들에 대한 Performance Metric을 기록하고 제공하는 역할을 한다.
Cloudwatch에서 metric을 추출하기 위해서는 AWS CLI를 사용하는 것이 편리하다. AWS Console의 우측 상단에 있는 CLI 실행 아이콘을 눌러 AWS CLI를 실행해 보자.
AWS CLI가 실행 되었다면, 아래 조회 명령어(list-metrics)를 실행시켜 제공되는 metric들에 대한 정보를 확인해 보자.
aws cloudwatch list-metrics --namespace AWS/RDS --dimensions Name=DBInstanceIdentifier,Value=[RDS for MSSQL Name]
잘 실행되었다면, cloudwatch에서 제공하는 Metric 리스트들을 확인 할 수 있다. 리스트 중 DTU계산에 필요한 CPU Processor Time과 Disk Reads/sec, Writes/sec에 값에 해당 하는 Metric 다음과 같다. (참고로, Log Bytes Flushed/sec에 해당하는 metric은 제공되지 않는다.)
생성한 csv 파일은 AWS CLI Storage에 저장 되어있다. 우측 상단의 Actions > Download File 메뉴를 사용하면 로컬 환경으로 다운 받을 수 있다.
3개의 파일 모두 다운 받아서 DTU 계산에 필요한 형식으로 맞춰준다.
% Processor Time = CPUUtilization
Disk Reads/sec = ReadIOPS
Disk Writes/sec = WriteIOPS
Log Bytes Flushed/sec에 해당하는 데이터가 없기때문에 0으로 넣어준다.
그림과 같은 형태로 구성될 것이다.
RDS for MSSQL metrics for DTU Calculator
이제, 한땀 한땀 준비한 데이터를 Azure DTU Calculator에 넣어 주기만 하면 되는데 한가지 주의할 점이 있다. 우리가 얻은 데이터는 RDS for MSSQL Server에 대한 정보이다. 때문에 여러 DB Instance에 대한 계산을 하는 Elastic Database 메뉴를 선택하여 계산 하도록 해야한다.
계산이 끝나면 아래와 같이 나오는데 이 결과를 통해서 AWS RDS에서 사용하던 성능 수준을 Azure SQL에서 그대로 사용하기 위해서 구성 해야하는 Service Tire/Performance Level을 확인 할 수 있다.
DI(Dependency Injection)을 구성할때 lifetime을 정의해야한다. lifetime은 DI가 동작할때 서비스 인스턴스가 생성되는 조건을 정의 하는 것이다. (참고로, DI에 대한 개념 설명은 “Dependency Injection 개념과 Ninject 사용법”이란 포스팅에 설명해 두었다. 추가적인 내용이 필요 하다면 참고하길 바란다.)
lifetime에는 다음과 같이 3가지가 있다.
Transient – 모든 요청에 대해서 매번 새로 인스턴스를 생성한다.
Scoped – scope 당 1회 인스턴스를 생성한다.
Singleton – DI가 구성되고 특정 시점에 1회 인스턴스를 생성되고 나면, 모든 호출에 대해서 동일한 인스턴스를 재활용한다.
글로만 읽으면 잘 이해가 가지 않는다. 좀 더 쉽게 이해를 하기 위해서 간단히 코딩을 하여 알아보자.
.Net Core Console 프로젝트를 생성하고 Progrma.cs에 다음과 같이 코드를 넣어 보자.
namespace DILifetimesTest
{
public interface IService
{
void Info();
}
public interface ISingleton : IService { }
public interface IScoped : IService { }
public interface ITransient : IService { }
public abstract class Operation : ISingleton, IScoped, ITransient
{
private Guid _operationId;
private string _lifeTime;
public Operation(string lifeTime)
{
_operationId = Guid.NewGuid();
_lifeTime = lifeTime;
Console.WriteLine($"{_lifeTime} Service Created.");
}
public void Info()
{
Console.WriteLine($"{_lifeTime}: {_operationId}");
}
}
public class SingletonOperation : Operation
{
public SingletonOperation() : base("Singleton") { }
}
public class ScopedOperation : Operation
{
public ScopedOperation() : base("Scoped") { }
}
public class TransientOperation : Operation
{
public TransientOperation() : base("Transient") { }
}
class Program
{
static void Main(string[] args)
{
var serviceProvider = new ServiceCollection()
.AddTransient<ITransient, TransientOperation>()
.AddScoped<IScoped, ScopedOperation>()
.AddSingleton<ISingleton, SingletonOperation>()
.BuildServiceProvider();
Console.WriteLine("========== Request 1 ============");
serviceProvider.GetService<ITransient>().Info();
serviceProvider.GetService<IScoped>().Info();
serviceProvider.GetService<ISingleton>().Info();
Console.WriteLine("========== ========= ============\r\n");
Console.WriteLine("========== Request 2 ============");
serviceProvider.GetService<ITransient>().Info();
serviceProvider.GetService<IScoped>().Info();
serviceProvider.GetService<ISingleton>().Info();
Console.WriteLine("========== ========= ============\r\n");
using (var scope1 = serviceProvider.CreateScope())
{
Console.WriteLine("========== Request 3 (scope1)============");
scope1.ServiceProvider.GetService<ITransient>().Info();
scope1.ServiceProvider.GetService<IScoped>().Info();
scope1.ServiceProvider.GetService<ISingleton>().Info();
Console.WriteLine("========== ========= ============\r\n");
Console.WriteLine("========== Request 4 (scope1)============");
scope1.ServiceProvider.GetService<ITransient>().Info();
scope1.ServiceProvider.GetService<IScoped>().Info();
scope1.ServiceProvider.GetService<ISingleton>().Info();
Console.WriteLine("========== ========= ============\r\n");
}
using (var scope2 = serviceProvider.CreateScope())
{
Console.WriteLine("========== Request 5 (scope2)============");
scope2.ServiceProvider.GetService<ITransient>().Info();
scope2.ServiceProvider.GetService<IScoped>().Info();
scope2.ServiceProvider.GetService<ISingleton>().Info();
Console.WriteLine("========== ========= ============\r\n");
}
Console.WriteLine("========== Request 6 ============");
serviceProvider.GetService<ITransient>().Info();
serviceProvider.GetService<IScoped>().Info();
serviceProvider.GetService<ISingleton>().Info();
Console.WriteLine("========== ========= ============\r\n");
Console.ReadKey();
}
}
}
CRON(Command Run On)이란, Unix System에서 제공하는 Job scheduler를 말한다. CRON은 Shell 명령어들이 주어진 일정에 주기적으로 실행하기 위해서 crontab(CRON Table)이란 것을 참조하고, crontab에는 실행시킬 Job 목록과 일정이 기록되어 있다.
CRON Table
사실, Windows에서도 Task scheduler라는 기능을 사용하면 Scheduling을 얼마든지 할 수 있긴 하다. 하지만 간혹 이미 Linux shell script로 제공되는 경우 등 Linux 환경에서의 작업이 더 유리한 상황인 경우에는 해당 script를 Windows 용으로 변경해야 하는 번거로움이 있다.
이럴때 WSL을 이용하면 좋다. WSL은 Ubuntu환경을 거의 대부분 제공하기 때문에 별도의 Linux 환경을 구성하지 않아도 주어진 Shell Script를 그대로 이용하면 Scheduling이 가능하다.
예를 들어, Linux System에 대한 Health check를 주기적으로 매시간마다 기록해야하는 상황이라고 가정해보자. Linux System이기 때문에 Bash shell script로 작업하는 것이 유리 할 것이다.
먼저, CRON Scehduler가 Backgroud에서 동작하기 위해서 daemon service를 설치 및 실행해야한다.
THE NEWTH 