本文共 3705 字，大约阅读时间需要 12 分钟。

Java API 实现对分布式文件系统（HDFS)的常用命令操作！

运行环境

创建maven工程进行的java代码编写，需要引入hadoop-client依赖，这里我还引入junit的依赖进行测试，将这两个依赖加入pom.xml可以完成java对hdfs的常用命令的基本操作。需要注意的是在测试之前开启我们的分布式文件系统。

           
    
     org.apache.hadoop
            
    
     hadoop-client
            
    
     2.7.3
        
       
           
    
     junit
            
    
     junit
            
    
     4.11
        
   

1.hdfs的目录下的文件及其目录查看

这段代码相当于命令 hdfs dfs -ls <hdfs路径> 查看文件及文件夹信息

public class HDFSClient {
       Configuration conf =new Configuration();    FileSystem fs;    @Before    public  void getConf() throws IOException {
           conf.set("fs.defaultFS","hdfs://XGan01:9000");        fs = FileSystem.get(conf);    }      @Test // hdfs dfs -ls 
   
     查看文件及文件夹信息    public void lsFileAndDir() throws IOException {
           FileStatus [] fileStatuses =fs.listStatus(new Path("/input"));        String text="文件";        for (FileStatus fstatus:fileStatuses){
               if(fstatus.isDirectory()) text="目录";            System.out.println(text+"------>"+fstatus.getPath()+",---filename-->"+fstatus.getPath().getName());        }    }}
   

2.hdfs的目录创建

这段代码相当于命令hdfs dfs -mkdir /dirname,这里用已经存在的目录测试哈

@Test //hdfs dfs -mkdir /dirname    public  void mkdir() throws IOException {
           //1,指定目录名        String dirName="dir02";        //2，创建Boolean变量，通过变量的变化，查看是否已经存在目录，flag=false表示目录存在        boolean flag=true;        //3,获取目录下的文件及其目录信息        FileStatus [] fileStatuses =fs.listStatus(new Path(""/HDFSClientDir/"));        //4，判断目录是否存在        for (FileStatus fstatus:fileStatuses){
               if (fstatus.isDirectory()&&dirName.equals(fstatus.getPath().getName().toString())){
                   System.out.println("目录存在无法创建");                flag=false;            }        }         //5，创建目录，flag=false则不执行创建目录        if (flag){
               fs.mkdirs(new Path("/HDFSClientDir"+dirName));            fs.close();            System.out.println("创建目录成功！");        }    }

存在目录

3.hdfs的目录删除or文件删除

这段代码相当于命令hdfs dfs -rm -r <hdfs路径>

@Test //hdfs dfs -rm -r 
   
        public void deletedirOrFile() throws IOException {
           //如果指定的是目录则删除目录，如果指定是文件只会删除文件不会删除文件所在的目录        Path path =new Path("/HDFSClientDir03/pachong.txt");        fs.delete(path,true);        System.out.println("删除指定目录成功！");    }
   

4.hdfs文件上传，本地到hdfs

这段代码相当于命令hdfs dfs -put <上传文件的路径及其名字> <存放在hdfs的路径>

@Test //hdfs dfs -put 
   <上传文件的路径及其名字> 
    <存放在hdfs的路径>
         public void uploadToHDFS() throws IOException {
           Path local =new Path("D:/StudyDemo/IDEA/TestDir/pachong.txt");        Path remoteHDFS =new Path("/HDFSClientDir03");        fs.copyFromLocalFile(local,remoteHDFS);        System.out.println("上传成功！");    }
    
   

5.hdfs文件下载，hdfs到本地

这段代码相当于命令hdfs dfs -get <存放在hdfs的文件路径> <下载到本地路径>

@Test //hdfs dfs -get 
   <存放在hdfs的文件路径> 
    <下载到本地路径>
         public  void  hdfsDownloadToLocal() throws IOException {
           Path local =new Path("D:/StudyDemo/IDEA/TestDir/download");        Path remoteHDFS =new Path("/HDFSClientDir/pachong.txt");        fs.copyToLocalFile(remoteHDFS,local);        System.out.println("下载成功！");    }
    
   

6.将本地的数据剪切到hdfs

这段代码相当于命令hadoop dfs - moveFromLocal <上传文件的路径及其名字> <存放在hdfs的路径>

@Test    public void moveFromLocal() throws IOException {
           fs.moveFromLocalFile(new Path("D:/StudyDemo/IDEA/TestDir/pachong.txt"),new Path("/HDFSClientDir/dir01"));        System.out.println("从本地剪切到hdfs成功！");    }

执行命令前

7.将hdfs上的数据剪切到本地

这段代码相当于命令hadoop dfs - moveToLocal <存放在hdfs的文件路径> <下载到本地路径>

@Test    public void moveToLocal() throws IOException {
           fs.moveToLocalFile(new Path("/HDFSClientDir/dir01/pachong.txt"),new Path("D:/StudyDemo/IDEA/TestDir/"));        System.out.println("从hdfs剪切到本地成功！");    }

到此简单的几个常用命令用java api实现完成！

转载地址：http://peqzi.baihongyu.com/