전체 글 306

[Kafka] No jmx port but jmx polling enabled

에러 내용 kafka-manager 설치 후 topic 생성 중에 아래와 broker-0에는 에러가 안나는데 broker-1,2 에는 아래와 같은 에러가 발생하였다. > broker 1 Error [error] k.m.a.c.BrokerViewCacheActor - Failed to get broker metrics for BrokerIdentity(1,DESKTOP-5V2566P.localdomain,-1,false,true,Map(PLAINTEXT -> 9093)) java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled! at scala.Predef$.require(Predef.scala:22..

Programming/Kafka 2020.04.21

[백준] 2003번 자바 수들의합2

문제 출처 https://www.acmicpc.net/problem/2003 2003번: 수들의 합 2 첫째 줄에 N(1≤N≤10,000), M(1≤M≤300,000,000)이 주어진다. 다음 줄에는 A[1], A[2], …, A[N]이 공백으로 분리되어 주어진다. 각각의 A[x]는 30,000을 넘지 않는 자연수이다. www.acmicpc.net 접근 방식 및 풀이 - 투포인트 알고리즘 사용 - 1806과 유사한 문제 [Algorithm/백준] - [백준] 1806번 부분합 소스 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 import java.util.Scanner..

[kafka] Consumer 주요 기능

Consumer 주요기능 특정 파티션을 관리하고 있는 파티션 리더에게 메세지 가져오기를 요청하는 것 각 요청은 로그의 오프셋을 명시하고 그 위치로 부터 로그메시지 수신 그래서 Consumer는 가져온 메세지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져오기 가능. 가져온 메시지를 다시 가져올 수 있는기능은 RabbitMQ와 같은 일반적인 메세지큐 솔루션에서는 제공하지 않음. (기존 다른 메세징큐 솔루션에선는 Consumer 가 메세지를 가져가면 큐에서 삭제되어 다른 Consumer 가 가져갈 수 없는 것과는 다른 방식임.) Consumer History Consumer 의 offset의 저장 위치에 따라 Old Consumer , New Consumer 로 나뉘어짐 Old Cons..

Programming/Kafka 2020.04.21

[백준] 1759번 자바 암호만들기

문제 출처 https://www.acmicpc.net/problem/1759 1759번: 암호 만들기 첫째 줄에 두 정수 L, C가 주어진다. (3 ≤ L ≤ C ≤ 15) 다음 줄에는 C개의 문자들이 공백으로 구분되어 주어진다. 주어지는 문자들은 알파벳 소문자이며, 중복되는 것은 없다. www.acmicpc.net 접근 방식 및 풀이 - DFS 알고리즘을 통해서 해결 - C개의 문자중 L개의 문자열을 만들수 있는 케이스를 돌며 조건에 맞으면 출력 - 조건 1. 문자열은 L개 - 조건 2. 최소 모음 1개, 자음 2개 이상 - 참고 블로그 소스 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 ..

[Youtube] 네이버 클라우드 플랫폼은 어디에 컨테이너를 쓸까? 3/3

네이버 클라우드 플랫폼은 어디에 컨테이너를 쓸까? Contents 1. Container Technology 0:00 ~ 22:40 2. NAVER CLOUD PLATFROM 22:40 ~ 27:59 3. NAVER CLOUD PLATFROM + Container Technology 28:00 ~ 39:45 3. NAVER CLOUD PLATFROM + Container Technology 1. 네이버 클라우드 플랫폼에서는 어떻게 사용되고 있나? 대표 예시 1) Container-as-a-Service -> Kubernate 2) Platform-as-a-Service -> Cloud Foundry 3) Function-as-a-Service -> Cloud Function (Beta)( a사의 lamd..

Programming/Server 2020.04.21

[youtube] [Kubernetes Service] 클라우드 시장의 대세, 쿠버네티스란 무엇인가?

클라우드 시장의 대세, 쿠버네티스란 무엇인가? https://youtu.be/JNc11rxLtmE 클라우드 시장의 대세, 쿠버네티스란 무엇인가? Contents 1. DockerNetworking 2. 쿠버네티스 1) 쿠버네티스 구성 2) Why Contatiner orchestration tool? 3) 쿠버네티스 기능 1. DockerNetworking 1) VM vs Container - 위의 그림의 큰 차이점은 Hypervisor 이다. - Hypervisor : 실제로 물리 머신이 가지고 있는, VM이 사용할 수 있는 리소스로 변환해주는 레이어 - VM들은 Hypervisor 위에서 실행. - Container는 하나의 격리된 프로세서 영역으로 실행됨. Image로 부팅되는데, Image 사이즈..

Programming/Server 2020.04.21

[kafka] 메시지 전송 케이스 별 프로듀서 옵션 설정

메시지 전송 케이스 별 프로듀서 옵션 설정 1. 메세지 손실 가능성이 높지만 빠른 전송이 필요한 경우 프로듀서의 acks=0 설정 일부 메시지 손실을 감안하더라도 매우 빠르게 전송이 필요한 경우. 메시지 손실이 발생한다고 해서 프로듀서가 보내는 메시지 90% 이상 손실된다는 의미는 아님 일반적인 운영 환경의 경우 메시지 손실 없이 빠르게 보내지만, 브로커가 다운되는 장애 등의 경우에 메시지 손실 가능성이 높은 편. 2. 메시지 손실 가능성이 적고 적당한 속도의 전송이 필요한 경우 1번 케이스와는 달리 프로듀서가 카프카로 메시지를 보낸 후 보낸 메시지에 대해 카프카가 잘 받았는지 확인(acks) 함. acks 받는 시간이 추가되어 시간이 속도는 떨어짐.(시간: 보내는 행동 + 응답을 받는 행동) 리더에 장..

Programming/Kafka 2020.04.20

[Youtube] 넷플릭스 마이크로 서비스 가이드 3-4

유투브 출처 : 넷플릭스 마이크로 서비스 가이드 - 혼돈의 제왕 강의 순서 1. Introductions 00:00~5:38 2. Microservice Basics 05:39~13:18 3. Challenges & Solutions 13:19 ~ 43:33 1) Dependency 13:19 ~ 25: 02 2) Scale 25:03 ~ 33:33 3) Varience 33:34 ~ 43:33 4) Chagne 43:33~ 45:45 4. Organization & Architecture 46:46~53:13 3. Challenges & Solutions 지난 7년간 넷플릭스의 해법과 해법 철학으로 4가지 접근방법이 있다. . 1) Dependency 2) Scale 3) Variance, 다양한 아키..

Programming/Server 2020.04.20

[백준] 1806번 부분합

문제 출처 https://www.acmicpc.net/problem/1806 1806번: 부분합 문제 10,000 이하의 자연수로 이루어진 길이 N짜리 수열이 주어진다. 이 수열에서 연속된 수들의 부분합 중에 그 합이 S 이상이 되는 것 중, 가장 짧은 것의 길이를 구하는 프로그램을 작성하시오. 입력 첫째 줄에 N (10 ≤ N < 100,000)과 S (0 < S ≤ 100,000,000)가 주어진다. 둘째 줄에는 수열이 주어진다. 수열의 각 원소는 공백으로 구분되어져 있으며, 10,000이하의 자연수이다. 출력 첫째 줄에 구하고자 하는 최소의 길 www.acmicpc.net 접근 방식 및 풀이 - 투포인트 알고리즘 이용 [Algorithm] - [알고리즘] 투포인트 알고리즘 - 배열의 순서는 움직일수..