춤추는 개발자

현상 하둡에서 namenode 실행시, 아래와 같은 오류가 발생하였다. 2020-07-04 09:08:39,574 INFO namenode.FSImage: Allocated new BlockPoolId: BP-812238600-127.0.1.1-1593878919566 2020-07-04 09:08:39,575 WARN namenode.NameNode: Encountered exception during format: java.io.IOException: Cannot create directory /home/hadoop/hadoop-3.1.3/data/namenode/current at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clea..

현상 dfs 실행시 아래와 같이 rcmd socket permission denied 에러가 발생하였고, 정상적으로 실행되지 않았다. 해결방법 원인은 pdsh 기본 rcmd가 ssh가 아닌 rsh, ssh 원격 로그인 인증이 동일 하지 않을 때 발생한다. 이를 해결 하기 위해서 ~/.bashrc 파일에 아래의 환경변수 내용을 추가 한뒤, 적용해준다. export PDSH_RCMD_TYPE=ssh 환경 변수 적용 후 정상적으로 실행된 화면이다.

현상 하둡은 초기 리눅스 기반으로 운영되었기 때문에, 하둡 버전 2부터는 윈도우에서 실행은 되지만, 실제 실행시 자잘한 에러가 발생 한다. (리눅스의 파일 경로, 파일 권한 등 관련 이슈..) 그 중에 하나가 Hadoop 3 을 Window에서 설치 후, start-dfs.cmd 명령어 실행시 발생한 에러다. 아래와 같이 datanode, namenode 모두 UnsatisfiedLinkError Error 발생하여 실행 되지 않는다. namenode error 2020-07-08 15:14:19,965 ERROR namenode.NameNode: Failed to start namenode. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio...

간단한 예제 프로그램 실행 하둡을 다운로드 하면, tar 폴더안에 함께 포함되어 있는 wordcount jar 파일이 존재한다. 해당 파일을 사용하여 테스트를 진행해 보자. 1) hdfs 확인 hdfs 에 기본 경로 폴더 생성 log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log/test log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -ls mapreduce 테스트를 위해 harrypote..

학부때 배운 리눅스 지식으로 리눅스 기반 하둡을 설치하려고 하니, 기본적인 리눅스 셋팅에서 많이 해맸던 것 같다. 한단계씩 꾸준히 따라오면 설치 할수 있다. 아파치 하둡 공식 문서에서 가이드 해주는 내용과 구글링을 참고하여 진행하였다. 1. 사전 작업 1) SSH apt-get update 실행 $ sudo apt-get update SSH, pdsh 다운로드 $ sudo apt-get install ssh $ sudo apt-get install pdsh ssh 설정 pdsh 환경설정 bashrc 파일 열기 log@ubuntu:~/hadoop/hadoop-3.1.3$ sudo nano ~/.bashrc 아래 환경변수 추가 export PDSH_RCMD_TYPE=ssh 파일 적용 log@ubuntu:~/..

현상 하둡을 실행 한 후, 초기 hdfs 파일을 확인 하려고 할때 발생 하는 에러다. log@ubuntu:~$ hdfs fs -ls ls: `.': No such file or directory 해결 방법 원인은 기본 경로에 대한 파일이 존재 하지 않기 때문이다. 이를 해결하기 위해선 /user/{user_name}/ 폴더를 생성해주면 된다. hdfs dfs -mkdir /user hdfs dfs -mkdir /user/{loggedin user} hdfs dfs -ls 참고 사이트 : https://stackoverflow.com/questions/28241251/hadoop-fs-ls-results-in-no-such-file-or-directory

현상 hdfs 명령어로 namenode format 진행시, 발생한 문제이다. 2020-07-03 10:47:32,709 INFO namenode.NameNode: createNameNode [-format] 2020-07-03 10:47:32,897 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2020-07-03 10:47:33,534 ERROR common.Util: Syntax error in URI \hadoop\namenode. Please check hdfs configuration. java.net.URIS..