춤추는 개발자

LocalDateTime LocalDateTime 단위 테스트 TimeController.class package com.example.demo; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; /** * The Class TimeController. */ @RestController public class TimeController { @GetMapping("/test") public TestDTO helloDTO4(TestDTO testDTO){ System.out.println(testDTO.toString()); return te..

현상 하둡에서 namenode 실행시, 아래와 같은 오류가 발생하였다. 2020-07-04 09:08:39,574 INFO namenode.FSImage: Allocated new BlockPoolId: BP-812238600-127.0.1.1-1593878919566 2020-07-04 09:08:39,575 WARN namenode.NameNode: Encountered exception during format: java.io.IOException: Cannot create directory /home/hadoop/hadoop-3.1.3/data/namenode/current at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clea..

현상 pycharm을 사용 중에 아래와 같은 Window Defender 관련 로그를 발견하였다. 그냥 써도 문제는 없지만,, 성능에 영향을 줄 수 있다고 하니 해결하기위해 아래 관련된 폴더를 설정 해주었다. Windows Defender might be impacting your build and IDE performance. PyCharm checked the following directories: C:\Users\*\PycharmProjects\algo2 C:\Users\*\AppData\Local\JetBrains\PyCharmCE2020.1 C:\Users\*\.gradle 해결 방법 윈도우 검색창에서 windows 보안 설정 클릭하여 관련 폴더를 추가해준다. windows 보안 바이러스 및 ..

현상 dfs 실행시 아래와 같이 rcmd socket permission denied 에러가 발생하였고, 정상적으로 실행되지 않았다. 해결방법 원인은 pdsh 기본 rcmd가 ssh가 아닌 rsh, ssh 원격 로그인 인증이 동일 하지 않을 때 발생한다. 이를 해결 하기 위해서 ~/.bashrc 파일에 아래의 환경변수 내용을 추가 한뒤, 적용해준다. export PDSH_RCMD_TYPE=ssh 환경 변수 적용 후 정상적으로 실행된 화면이다.

IntelliJ에서 JavaDoc 설정하는 방법에 대해서 알아보자. 1. JavaDoc comment 추가 방법 1. 단축키 (window 기준) : ctrl+shift+alt+G 방법 2. 더블 shift -> create JavaDocs for all elements 실행 JavaDoc 코드 적용 전 Main Class public class Main { public static void main(String[] args) { AddNumber addNumber = new AddNumber(); System.out.println(addNumber.add(2, 6)); System.out.println(addNumber.add(2, 3,4)); } } AddNumber Class public class..

현상 하둡은 초기 리눅스 기반으로 운영되었기 때문에, 하둡 버전 2부터는 윈도우에서 실행은 되지만, 실제 실행시 자잘한 에러가 발생 한다. (리눅스의 파일 경로, 파일 권한 등 관련 이슈..) 그 중에 하나가 Hadoop 3 을 Window에서 설치 후, start-dfs.cmd 명령어 실행시 발생한 에러다. 아래와 같이 datanode, namenode 모두 UnsatisfiedLinkError Error 발생하여 실행 되지 않는다. namenode error 2020-07-08 15:14:19,965 ERROR namenode.NameNode: Failed to start namenode. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio...

간단한 예제 프로그램 실행 하둡을 다운로드 하면, tar 폴더안에 함께 포함되어 있는 wordcount jar 파일이 존재한다. 해당 파일을 사용하여 테스트를 진행해 보자. 1) hdfs 확인 hdfs 에 기본 경로 폴더 생성 log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log/test log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -ls mapreduce 테스트를 위해 harrypote..

springboot에서 java8 time을 사용하여 get 요청을 해오는 방법에 대해서 알아보자 테스트 코드 먼저 컨트롤러 및 DTO 클래스를 생성한다. TimeController.class package com.example.demo; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; /** * The Class TimeController. */ @RestController public class TimeController { @GetMapping("/test") public TestDTO getTestDTO(TestDTO testDT..

학부때 배운 리눅스 지식으로 리눅스 기반 하둡을 설치하려고 하니, 기본적인 리눅스 셋팅에서 많이 해맸던 것 같다. 한단계씩 꾸준히 따라오면 설치 할수 있다. 아파치 하둡 공식 문서에서 가이드 해주는 내용과 구글링을 참고하여 진행하였다. 1. 사전 작업 1) SSH apt-get update 실행 $ sudo apt-get update SSH, pdsh 다운로드 $ sudo apt-get install ssh $ sudo apt-get install pdsh ssh 설정 pdsh 환경설정 bashrc 파일 열기 log@ubuntu:~/hadoop/hadoop-3.1.3$ sudo nano ~/.bashrc 아래 환경변수 추가 export PDSH_RCMD_TYPE=ssh 파일 적용 log@ubuntu:~/..

현상 하둡을 실행 한 후, 초기 hdfs 파일을 확인 하려고 할때 발생 하는 에러다. log@ubuntu:~$ hdfs fs -ls ls: `.': No such file or directory 해결 방법 원인은 기본 경로에 대한 파일이 존재 하지 않기 때문이다. 이를 해결하기 위해선 /user/{user_name}/ 폴더를 생성해주면 된다. hdfs dfs -mkdir /user hdfs dfs -mkdir /user/{loggedin user} hdfs dfs -ls 참고 사이트 : https://stackoverflow.com/questions/28241251/hadoop-fs-ls-results-in-no-such-file-or-directory