HDFS 명령어

하둡 명령어는 HADOOP_HOME/bin 아래에 있는 hadoop(버전 1.x 대),hdfs(버전 2.x대)를 이용하여 시행할 수 있다.

환경 변수를 등록한다면 어디서든 hadoop과 hdfs 명령어를 이용하여 하둡에 명령을 실행시킬 수 있다.

사용자 디렉토리의 .profile 파일을 열어 맨 마지막 줄에 다음과 같은 라인을 추가하자.(사용자는 hadoop, 설치 디렉토리는 /home/hadoop/hadoop이라고 가정)

HADOOP_HOME=/home/hadoop/hadoop
PATH=$PATH:$HADOOP_HOME/bin

그 후 다음 명령어를 이용하여 .profile 파일에 등록된 환경변수를 갱신한다.

source .profiles

아래의 명령어들은 Hadoop 2.x 버전에서 실행한 명령어들이다.

1. 파일 목록 보기

   hdfs dfs -ls /
   //루트 디렉토리의 파일, 폴더 리스트를 조회한다.
   

2. 서브 카테고리까지 조회하기

   hdfs dfs -ls -R /
   //루트 디렉토리에 속해있는 서브 디렉토리들의 리스트까지 출력된다.
   

3. 파일 용량 확인하기

   hdfs dfs -du /
   

4. 파일 내용 보기

   hdfs dfs -cat /user/hadoop/test.log
   

5. 디렉토리 생성

   hdfs dfs -mkdir /user/hadoop/testdir