Programming 131

[Hadoop] Failed to start namenode

현상 하둡에서 namenode 실행시, 아래와 같은 오류가 발생하였다. 2020-07-04 09:08:39,574 INFO namenode.FSImage: Allocated new BlockPoolId: BP-812238600-127.0.1.1-1593878919566 2020-07-04 09:08:39,575 WARN namenode.NameNode: Encountered exception during format: java.io.IOException: Cannot create directory /home/hadoop/hadoop-3.1.3/data/namenode/current at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clea..

Programming/Hadoop 2020.09.26

[Pycharm] Window Defender Warning

현상 pycharm을 사용 중에 아래와 같은 Window Defender 관련 로그를 발견하였다. 그냥 써도 문제는 없지만,, 성능에 영향을 줄 수 있다고 하니 해결하기위해 아래 관련된 폴더를 설정 해주었다. Windows Defender might be impacting your build and IDE performance. PyCharm checked the following directories: C:\Users\*\PycharmProjects\algo2 C:\Users\*\AppData\Local\JetBrains\PyCharmCE2020.1 C:\Users\*\.gradle 해결 방법 윈도우 검색창에서 windows 보안 설정 클릭하여 관련 폴더를 추가해준다. windows 보안 바이러스 및 ..

[Hadoop] rcmd socket permission denied

현상 dfs 실행시 아래와 같이 rcmd socket permission denied 에러가 발생하였고, 정상적으로 실행되지 않았다. 해결방법 원인은 pdsh 기본 rcmd가 ssh가 아닌 rsh, ssh 원격 로그인 인증이 동일 하지 않을 때 발생한다. 이를 해결 하기 위해서 ~/.bashrc 파일에 아래의 환경변수 내용을 추가 한뒤, 적용해준다. export PDSH_RCMD_TYPE=ssh 환경 변수 적용 후 정상적으로 실행된 화면이다.

Programming/Hadoop 2020.09.25

[Intellij] JavaDoc 주석 + 파일 생성

IntelliJ에서 JavaDoc 설정하는 방법에 대해서 알아보자. 1. JavaDoc comment 추가 방법 1. 단축키 (window 기준) : ctrl+shift+alt+G 방법 2. 더블 shift -> create JavaDocs for all elements 실행 JavaDoc 코드 적용 전 Main Class public class Main { public static void main(String[] args) { AddNumber addNumber = new AddNumber(); System.out.println(addNumber.add(2, 6)); System.out.println(addNumber.add(2, 3,4)); } } AddNumber Class public class..

[Hadoop] Window NameNode & DataNode 실행 오류

현상 하둡은 초기 리눅스 기반으로 운영되었기 때문에, 하둡 버전 2부터는 윈도우에서 실행은 되지만, 실제 실행시 자잘한 에러가 발생 한다. (리눅스의 파일 경로, 파일 권한 등 관련 이슈..) 그 중에 하나가 Hadoop 3 을 Window에서 설치 후, start-dfs.cmd 명령어 실행시 발생한 에러다. 아래와 같이 datanode, namenode 모두 UnsatisfiedLinkError Error 발생하여 실행 되지 않는다. namenode error 2020-07-08 15:14:19,965 ERROR namenode.NameNode: Failed to start namenode. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio...

Programming/Hadoop 2020.09.23

[Hadoop] Ubuntu 18.04 + Hadoop 3.1.3 Example

간단한 예제 프로그램 실행 하둡을 다운로드 하면, tar 폴더안에 함께 포함되어 있는 wordcount jar 파일이 존재한다. 해당 파일을 사용하여 테스트를 진행해 보자. 1) hdfs 확인 hdfs 에 기본 경로 폴더 생성 log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log/test log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -ls mapreduce 테스트를 위해 harrypote..

Programming/Hadoop 2020.09.21

[Springboot] Spring boot Java 1.8 Time 적용

springboot에서 java8 time을 사용하여 get 요청을 해오는 방법에 대해서 알아보자 테스트 코드 먼저 컨트롤러 및 DTO 클래스를 생성한다. TimeController.class package com.example.demo; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; /** * The Class TimeController. */ @RestController public class TimeController { @GetMapping("/test") public TestDTO getTestDTO(TestDTO testDT..

[Hadoop] Ubuntu 18.04 + Hadoop 3.1.3 Setting On Linux

학부때 배운 리눅스 지식으로 리눅스 기반 하둡을 설치하려고 하니, 기본적인 리눅스 셋팅에서 많이 해맸던 것 같다. 한단계씩 꾸준히 따라오면 설치 할수 있다. 아파치 하둡 공식 문서에서 가이드 해주는 내용과 구글링을 참고하여 진행하였다. 1. 사전 작업 1) SSH apt-get update 실행 $ sudo apt-get update SSH, pdsh 다운로드 $ sudo apt-get install ssh $ sudo apt-get install pdsh ssh 설정 pdsh 환경설정 bashrc 파일 열기 log@ubuntu:~/hadoop/hadoop-3.1.3$ sudo nano ~/.bashrc 아래 환경변수 추가 export PDSH_RCMD_TYPE=ssh 파일 적용 log@ubuntu:~/..

Programming/Hadoop 2020.09.19

[Hadoop] hdfs -ls 오류

현상 하둡을 실행 한 후, 초기 hdfs 파일을 확인 하려고 할때 발생 하는 에러다. log@ubuntu:~$ hdfs fs -ls ls: `.': No such file or directory 해결 방법 원인은 기본 경로에 대한 파일이 존재 하지 않기 때문이다. 이를 해결하기 위해선 /user/{user_name}/ 폴더를 생성해주면 된다. hdfs dfs -mkdir /user hdfs dfs -mkdir /user/{loggedin user} hdfs dfs -ls 참고 사이트 : https://stackoverflow.com/questions/28241251/hadoop-fs-ls-results-in-no-such-file-or-directory

Programming/Hadoop 2020.09.19