갓.바.조.아

애플리케이션을 컨테이너화 시키기 위해서는 docker 를 쓰는 시나리오에는 일반적으로 docker가 설치된 환경에서 dockerfile 을 만들어 그것을 이미지로 빌드하는 것이 보통이다. 구글에서 나온 jib 와 maven 플러그인, gradle 플러그인을 활용하면 애플리케이션의 빌드 과정에서 자동으로 컨테이너 이미지를 만들고, 그것을 registry 에 등록할 수 있다. jib란 docker daemon 없이도 Java 애플리케이션을 Docker 혹은 OCI 규격의 컨테이너 이미지를 만들어 주는 도구이며, maven 플러그인 및 gradle 으로 제공되어 Dockerfile 에 대한 별도의 지식 없이도 애플리케이션을 이미지로 만들 수 있다. 또한 JAR를 single layer 로 빌드하는 것이 아니라..

KAFKA 한국 사용자 모임(https://www.facebook.com/groups/kafka.kru/)에는 Kafka를 사용하는 사람들이 많은 정보와 질문, 답변을 올려주는 곳이다. 이곳에서 내가 설정한 기본 Property 말고 Broker에 설정된 전체 Property를 볼 수 없을지에 대한 질문이 올라와 그 부분에 대해서 코드를 작성하다. 예전부터 해 오던 AdminClient 와 관련된 내용을 전체적으로 한 번 정리하자는 취지에서 포스팅을 하게 되었다. 2.3.0 기준으로 Kafka가 제공하는 API는 아래와 같다 Producer API Consumer API Streams API Connect API AdminClient API 오늘 살펴볼 API인 AdminClient는 0.11.0.0 에..

Kafka를 운영하면서 이런 저런 에러메시지를 보게 됩니다. 그러고 문서를 찾아보거나 검색을 합니다. 그러면서 쌓아가는 지식도 있지만, 얻어 맞기 전에 대비를 하는 것도 괜찮겠다는 생각이 들었습니다. 개발자에게 있어 가장 좋은 교보재는 소스코드와 그 주석이라는 생각을 가지고 있기 때문에, Kafka 가 발생시키는 Exception 의 종류를 살펴보고, 이 Exception 은 어떤 상황에 발생하는지, Exception을 회피하기 위한 조건은 무엇이 있는지를 미리 알아두면, 좀 더 운영에 도움이 될 것 같아 Kafka의 소스코드를 참고하여 정리 해 보았습니다. Kafka의 Exception 구조 /** * The base class of all other Kafka exceptions */ public c..

kafka 를 접한지 1년여의 시간이 흘렀고, 2018년 말부터 로컬 테스트부터 시작해, 테스트망, 검증망을 거쳐 운영망에서 kafka를 운영한지 3개월 정도가 되었습니다. kafka를 개인 컴퓨터에서 테스트용으로 쓸 때는 환경에 크게 고민을 하지 않고 기능적으로 제대로 돌아가는지를 신경 쓰지만 운영 시스템에 올리기 시작하면서부터는, 이 시스템의 환경을 어떻게 구성해야 최대한 안정적으로 돌아가게 될지, 성능을 더 끌어낼 방법은 무엇일지 이런 저런 고민을 하였습니다. 카프카, 데이터 플랫폼의 최강자, 카프카 핵심 가이드와 같은 좋은 책들의 도움을 받아 기본적인 것들을 공부하고, 운영 환경을 구성하면서, kafka를 구축하기 이전 ElasticSearch 를 구축했던 경험을 떠올리며, ElasticSearc..

이전의 포스트에서 JAVA가 사용하는 JAAS 및 프로토콜-보안메커니즘을 분리하는 SASL 에 대해서 살펴보았다. kafka는 SASL의 몇 가지 메커니즘을 활용하여 주키퍼-브로커, 브로커-클라이언트 간의 인증을 적용할 수 있는데, 이번 포스트에서는 그 방법 중 가장 간단한 방법이라고 생각되는 SASL/PLAIN 에 대해서 소개하려 한다. SASL/PLAIN은 username/password 기반으로 인증을 수행하는 방식이며 안전한 인증을 위해서는 TLS 와 병행할 것을 권장한다. 이번 포스트에서 소개할 예제는 브로커-클라이언트 간의 SASL/PLAIN이며 TLS 없이 SASL/PLAIN 을 구현한다. 일단 이번 포스트에서 설명할 것의 순서는 아래와 같다 1. broker (kafka 서버) 설정 2. ..

연초부터 Kafka를 활용해야겠다고 마음 먹고 겪은 프로세스를 살펴보면, 처음엔 제대로 설정해서 올리는 것에 중점을 두고, 설치 및 설정에 어느 정도 익숙해지니 설치 자체는 쉘스크립트를 만들어 어느 정도 한 번에 설치 및 서비스 구성이 되도록 할 수 있게 되었다. 그 다음으로는 안정적으로 굴러가는 것에 신경을 쓰자고 마음 먹고 JMX 메트릭을 모니터링 한다거나, 로그 파일에서 나타나는 각종 메시지들에 관심을 가지게 되었다. 그러고 나니, 다음으로 관심이 가는 것은 얼마나 Kafka 클러스터를 안전하게 굴릴 수 있느냐. 라는 것이다, 물론 현재 운영하고 있는 환경에서는 네트워크 방화벽 장비라든가 OS의 방화벽 설정 등을 통해 IP를 기반으로 허가 받지 않은 접근을 통제하고 있지만, 꼭 이런 환경에서만 한다..

5월부터 알고리즘을 공부하겠다는 맹세가 무색하게, 연초부터 하던 일이 매우 바빠져서 5,6,7월을 일로만 보냈다. 연초부터 약간씩 구성해오던 Kafka를 바탕으로 하여 그것과 연계된 서비스들을 이리저리 만들어내고 붙이고 했는데, 방화벽 레벨에서 제어를 하는 것과 별개로 Kafka의 보안 기능을 활용하고 싶다는 생각이 들어서 조금씩 보고 있는 중이다. Kafka의 보안 기능들은 JAAS 와 관련이 있으므로, Kafka의 보안 기능을 활용하기에 앞서서 해당 내용을 좀 정리하고 넘어가려고 정리 해 봄. 보통은 인증/인가에 관해서는 네트워크상에서 인증/인가 위주로 신경 썼고... 애플리케이션 자체의 권한에 대해서는 예전에 설치형으로 판매하던 솔루션에 대해서 구현한 적이 있긴 한데, 이걸 정리하면서 느낀 점은 그..

2019년 5월 12일, 2.1.0.RELEASE 버전 기준 https://cloud.spring.io/spring-cloud-static/spring-cloud-gateway/2.1.0.RELEASE/single/spring-cloud-gateway.html Spring Cloud Gateway 2.1.0.RELEASE This project provides an API Gateway built on top of the Spring Ecosystem, including: Spring 5, Spring Boot 2 and Project Reactor. Spring Cloud Gateway aims to provide a simple, yet effective way to route to APIs and ..

Spring Cloud 기반으로 MSA를 구현하기 위해 요 며칠 고군분투 중이다. 전체적인 정리는 나중에 해야겠지만, 방금 한 번 삽질을 한 김에 정리를 짧게 남겨보려 한다. 일단 배경을 살펴 보자면 hystrix 라고 하는 Netflix OSS에 포함되어 있으며, Spring Cloud 에도 포함된 지연 내성 및 장애 내성을 갖게 해 주는 라이브러리이다. 이에 대해서는 나중에 자세히 다룰지도 모른다. hystrix 에 관한 부분은 아니고, hystrix 의 상태를 모니터링 및 시각화 해 주는 hystrix-dashboard 에 관해 다룰 것인데 일단 아래와 같이 # pom.xml 안에 포함된 의존성 # 상략... org.springframework.boot spring-boot-starter-actua..

https://springboot.cloud/23 의 글에서 고가용성(HA)의 개념과 이를 달성하기 위한 프로토콜인 VRRP 에 대해서 살펴보았다. 운영 중인 장비에서 문제가 생겼을 때, 자동으로 예비 장비로 전환하여 서비스의 지속성을 유지 시켜주는 기능을 장애극복(failover)라고 한다. 이번 글에서는 리눅스에서 failover 를 위해서 사용하는 keepalived 에 대해서 살펴볼 것이다. keepalived란? 공식 홈페이지의 설명에 따르면 keepalived는 C로 작성된 로드밸런싱 및 고가용성을 제공하는 프레임워크이다. 로드밸런싱을 하기 위해서는 LVS(Linux Virtual Server)의 구성 요소인 IPVS를 사용한다. keepalived와 조합하여 HAPROXY 와 같은 로드밸런서..