代码提交

src/main/resources/templates/hdfs_upload.ftl

@@ -5,9 +5,8 @@ src_dir=${src_dir!}
 file_suffix="${file_suffix!}"
 # 要上传到hdfs的目录
 des_dir=${des_dir!}
-
-cd $src_dir
-
+# 获取 src_dir 下所有文件为 file_suffix 的文件
+cd ${src_dir}
 if [ $file_suffix = "" ]; then
   echo "没有后缀"
   filename=`ls -l | grep ^- | awk '{print $9}'`

src/main/resources/templates/hdfs_upload2.ftl

+#!/bin/bash
+# 要上传到hdfs的来源目录
+src_dir=${src_dir!}
+# 要上传的文件类型
+file_suffix="${file_suffix!}"
+# 要上传到hdfs的目录
+des_dir=${des_dir!}
+
+cd $src_dir
+
+if [ $file_suffix = "" ]; then
+  echo "没有后缀"
+  filename=`ls -l | grep ^- | awk '{print $9}'`
+else
+  filename=`ls -l | grep ^- | awk '{print $9}' | grep .${file_suffix}`
+fi
+
+# 获取当前系统时间
+time=`date +%Y%m%d%H%M%S`
+des_dir=${r'"${des_dir}/${time}"'}
+
+echo "====================hdfs 文件夹不存在, 自动创建======================"
+su hdfs -c "hdfs dfs -mkdir -p ${des_dir}"
+
+for file in ${r'${filename}'}
+do
+  echo "正在上传hdfs的文件是: ${r'${src_dir}/${file}'}"
+  ${r'su hdfs -c "hdfs dfs -put ${src_dir}/${file} ${des_dir}/"'}
+done
\ No newline at end of file