춤추는 개발자

카프카 클러스터의 모니터링하는 방법은 대표적으로 2가지가 있다. 첫번째는 JMX 사용하여 모니터링하는 방법이 있고, 두번째는 야후에서 공개한 오픈소스인 Kafka-Manager이다. 이번 글에서는 Kafka-Manager 설치하는 방법에 대해서 알아본다. 1. 카프카 매니저 다운로드 https://github.com/yahoo/CMAK/releases yahoo/CMAK CMAK is a tool for managing Apache Kafka clusters. Contribute to yahoo/CMAK development by creating an account on GitHub. github.com 3.X.X.X 버전은 JAVA 11부터 되는 것 같아서 안전하게 CMAK-1.3.3.23.tar 다운..

Ubuntu에 설치한 Docker를 물리적으로 다른 서버의 intellij와 연동해보자. Docker remote API를 사용하기 위해선, 사전에 도커의 TCP 포트를 외부로 활성화 시켜줘야한다. Ubuntu Docker intellij 연동 순서 1. 도커 포트 활성화를 위해 docker.service 파일 수정 /lib/systemd/system$ sudo vim docker.service 해당 파일의 내용 중 아래 항목 수정 후 저장 .......... # ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock ExecStart=/usr/bin/dockerd -H fd:// -H tcp://0.0.0.0:23..

카프카 사용시 자주 사용하는 명령어이다. 명령어 확인 경로: /usr/local/kafka/bin 토픽 생성 > bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test-topic 토픽 리스트 확인 > bin/kafka-topics.sh --list --bootstrap-server localhost:9092 토픽 상세 보기 > bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test-topic 토픽 설정 변경 디스크 공간 확보시 필요. 운영 중 디스크 공간을 확보하는 가장 좋은..

네이버 클라우드 플랫폼의 개발자들은 컨테이너를 어떻게 사용하고 있을까? https://youtu.be/-WWpJ1ZLQkw 네이버 클라우드 플랫폼의 개발자들은 컨테이너를 어떻게 사용하고 있을까? Contents NAVER Cloud Platform Container Registry 1. 상품소개 2. 개발 목표 3. 쿠버네티스 활용기 1) Deployment 2) Service 3) Ingress 4. Wrap-up 1. 상품소개 Container Registry 특징 > 개발자가 자신의 개발환경에서 컨테이너 이미지를 생성하고 이를 운영 환경에 배포하려는 상황 > 개발 한것을 운영 환경에 옮길때 필요한 중간 매개체가 Container Registry > Container Registry에 올려놓으면 원격..

분산시스템 구성을 위해 docker위에 cassandra를 셋팅하는 법에 대해서 알아보자. 1. docker에 cassandra download docker pull cassandra:latest 2. 노드 0번 (seed node) 실행 docker run --name cassandra-node-0 --p 7000:7000 -p 7001:7001 -p 9042:9042 -p 9160:9160 -e CASSANDRA_CLUSTER_NAME=MyCluster -e CASSANDRA_ENDPOINT_SNITCH=GossipingPropertyFileSnitch -e CASSANDRA_DC=datacenter1 -d cassandra 3. seed 노드에 할당된 ip 확인 >docker inspect --fo..

현상 Spring boot 실행시 아래와 같은 Warning이 발생하여 원인을 찾아보았더니, 원인은 스프링 부트 응용 프로그램을 동시 실행하고 있을때 주는 경고였다. 2017-08-14 12:23:23.609 WARN 2356 --- [ restartedMain] o.s.b.d.a.OptionalLiveReloadServer : Unable to start LiveReload server 해결방법 어플리케이션 하는 동안 서로 영향을 주지 않게 하려면 config 파일(yaml)에 옵션을 추가해주면 된다. spring.devtools.livereload.enabled: false 아래는 관련 내용의 SpringBoot Reference이다.

버전 확인 conda --version 아나콘다 업데이트 conda update conda 라이브러리 리스트 확인 conda list 라이브러리 설치 # 기본 명령어 conda install {패키지명} # 권장 명령어. 기본 채널에 피키지가 존재하지 않는 경우 PackagesNotFoundError가 발생할 수 있다. conda install -c conda-forge {패키지명} 라이브러리 업데이트 # 특정 라이브러리 업데이트 conda update {패키지명} # 설치되어 있는 모든 라이브러리 업데이트 conda update -all 라이브러리 삭제 conda remove {패키지명} 라이브러리 검색 conda search {패키지명} 아나콘다 환경설정 확인 conda env list conda i..

Consumer Connection Config bootstrap.servers Type: list Default: "" Valid Values: non-null string Importance: high 카프카 클러스터에 처음 연결을 하기 위한 호스트와 포트 정보로 구성된 리스트 정보. fetch.min.bytes Type: int Default: 1 Valid Values: [0,...] Importance: high 한번에 가져올 수 있는 최소 데이터 사이즈. 만약 지정된 사이즈 보다 작은 경우, 요청에 응답하지 않고 데이터가 누적될 때까지 기다림. group.id Type: string Default: null Valid Values: Importance: high 컨슈머가 속한 컨슈머 그룹을 식..

유투브 출처 : 넷플릭스 마이크로 서비스 가이드 - 혼돈의 제왕 강의 순서 1. Introductions 00:00~5:38 2. Microservice Basics 05:39~13:18 3. Challenges & Solutions 13:19 ~ 43:33 1) Dependency 13:19 ~ 25: 02 2) Scale 25:03 ~ 33:33 3) Varience 33:34 ~ 43:33 4) Chagne 43:33~ 45:45 4. Organization & Architecture 46:46~53:13 4. Organization & Architecture 아주 오래전에 "일레트로닉 딜리버리"라 불리는 팀이 있었다. "스트리밍"이라는 단어가 없을때 스트리밍을 했던 서비스 이름이다. 실제로는 하드..

현상 ModuleNotFoundError 발생 import missingno as msno msno.matrix(bike, figsize=(12,5)) --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) in ----> 1 import missingno as msno 2 3 msno.matrix(bike, figsize=(12,5)) ModuleNotFoundError: No module named 'missingno' 해결 방법 python 에서 import 하여 사용할때, 기본적인것을 제외한 모듈은 사전에 install을 ..