[原创]脚本：在指定位置建立软件仓，并上传googlecode、添加到pacman.conf的脚本

carbonjiao · 发表于 2009-6-7 14:56:37

如题

写脚本的初衷在于方便自己。。。

使用该脚本风险自负

[color="Blue"]俺已经用这个脚本将为archlive定制的软件包及通过aur编译的包上传到http://archlive-pkg.googlecode.com了!

2009年7月4日下午再优化了下，将googlecode用户信息放在~/.googlecode文件内
2009年6月8日下午17:20再将脚本再优化了下。。。

#!/bin/bash
# 该脚本将在指定目录创建Arch软件仓库（指定仓库名）作者 Carbon Jiao
# 同时调用python脚本将这些仓库上传到googlecode的相应项目
# 本脚本给予GPL v3发布，使用者须遵循GPL v3相应规定
# 本脚本调用的脚本版权归原作者
#
# 该脚本主要实现三个功能：
# 1、在制定目录下建立自定义软件仓；
# 调用pacman软件组中的一个脚本repo-add
# 2、将制定目录下的自定义软件仓批量上传到googlecode的制定项目空间；
# 调用googlecode官方的一个python上传脚本
# 在使用upload或者all命令的时候，会在该命令目录下产生两个文件
# old.list 上传前googlecode上对应项目的文件清单
# new.list 上传后googlecode上对应项目的文件清单
# 脚本会自动检测预上传的文件夹下的软件是否已经存在于googlecode项目上
# 3、将自定义软件仓的相关设置加到制定的 pacman.conf
# (一般用户/etc/pacman.conf，制作archlive的就还有另外的软件仓配置文件了）
# 脚本会自动检测软件仓配置文件中是否已经存在预添加的软件仓
#
#----2009-07-04更新：将googlecode用户信息存放到~/.googlecode下
#----2009-06-16更新：加入文件大小判断，简化文件是否上传的判断条件
#
APPNAME=$(basename "${0}")
# 默认预修改的软件仓配置文件,用-c 可以指定另外的配置文件
# 预添加的软件仓第一优先:
# 在"# uncommented to enable the repo."行后开始定义软件仓.
# 原始/etc/pacman.conf行有以上的标的行
PACMANCONF="/etc/pacman.conf"
# 在指定文件下的文件中不上传的文件清单，须全名
if [ -f $(pwd)/exclude.list ]; then
EXCLUDELIST="$(pwd)/exclude.list"
else
EXCLUDELIST=""
fi
# 软件仓数据库文件制作脚本，属于pacman
if [ -f "$(pwd)/repo-add" ]; then
REPO_ADD="$(pwd)/repo-add"
else
REPO_ADD="/usr/bin/repo-add"
fi
# 如果googlecode上已经存在预提交的文件，则不覆盖
FORCE="n"
# 即使googlecode上已经存在预提交的文件也提交
#FORCE="y"
usage ()
{
echo " 用法: ${APPNAME} [选项] 命令 <命令选项>"
echo " 选项:"
echo " -p Project_Name 预上传到googlecode的项目名, 默认: archlive-pkg"
echo " -u UserName Googlecode帐号"
echo " -w Passwd Googlecode密码"
echo " -e EXCLUDELIST 不上传的文件清单"
echo " -c pacman.conf 预添加自定义软件仓的配置文件"
echo " -f 即使googlecode上已经有的文件也上传"
echo " -h 本帮助信息."
echo " 命令:"
echo " create <REPO_DIR> <REPO_NAME> 在<REPO_DIR>下创建名为<REPO_NAME>的软件仓"
echo " upload <REPO_DIR> <Project_Name> 将<REPO_DIR>下的文件提交到<Project_Name>项目"
echo " add <REPO_DIR> <REPO_NAME> 将本地<REPO_DIR>下的<REPO_NAME>软件仓加入到指定的pacman.conf"
echo " c_and_u <REPO_DIR> <REPO_NAME> <Project_Name> 在本地<REPO_DIR>下建立名为<REPO_NAME>的软件仓，并提交到<REPO_NAME>项目"
echo " c_and_a <REPO_DIR> <REPO_NAME> 在本地<REPO_DIR>下建立名为<REPO_NAME>的软件仓，并加入到指定的pacman.conf"
exit $1
}
error () { echo "XXX $@";}
warn () { echo "!!! $@";}
info () { echo "*** $@";}
# 检测、配置输入的命令
while getopts 'u:w:c:e:fh' arg; do
case "${arg}" in
u) UserName="${OPTARG}" ;;
w) Passwd="${OPTARG}" ;;
c) PACMANCONF="${OPTARG}" ;;
e) EXCLUDELIST="${OPTARG}" ;;
f) FORCE="y" ;;
h|?) usage 0 ;;
*) echo "无效参数 '${arg}'"; usage 1 ;;
esac
done
echo "参数及命令: $@"
shift $(($OPTIND - 1))
echo "命令: $@"
#[ $# -le 1 ] && usage 1
command_name="${1}"
case "${command_name}" in
create) REPO_DIR="${2}"; REPO_NAME="${3}"; remark="创建本地自定义软件仓(Repo)" ;;
upload) REPO_DIR="${2}"; Project_Name="${3}"; remark="将本地自定义软件仓(Repo)提交到Googlecode" ;;
add) REPO_DIR="${2}"; REPO_NAME="${3}"; remark="将本地自定义软件仓(Repo)加到软件仓配置文件${PACMANCONF}" ;;
c_and_u) REPO_DIR="${2}"; REPO_NAME="${3}"; Project_Name="${4}"; remark="创建Repo并上传到${Project_Name}项目" ;;
c_and_a) REPO_DIR="${2}"; REPO_NAME="${3}"; remark="创建Repo并加到软件仓配置文件${PACMANCONF}" ;;
*) warn "未知命令'${command_name}'"; usage 1 ;;
esac
if [ "x${REPO_DIR}" = "x" ]; then REPO_DIR="/mnt/sda3/cpkg"; fi
if [ "x${REPO_NAME}" = "x" ]; then REPO_NAME="archlive-pkg"; fi
if [ "x${Project_Name}" = "x" ]; then Project_Name="archlive-pkg"; fi
info " ${APPNAME}程序设置:"
echo " 命令: ${command_name} —— ${remark}"
echo " 预创建的软件仓位置: ${REPO_DIR}"
echo " 预创建的软件仓名: ${REPO_NAME}"
echo " 预上传googlecode的项目名: ${Project_Name}"
echo " 预上传使用的用户名: ${UserName}"
echo " 预上传用户的密码: ${Passwd}"
echo " 预添加自定义软件仓的配置文件: ${PACMANCONF}"
echo " 不上传文件名清单: ${EXCLUDELIST}"
echo " 是否覆盖: ${FORCE}"
sleep 1
# 自定义软件仓
custom_repo ()
{
for pkgfile in $(ls ${REPO_DIR}/*.pkg.tar.gz); do
sh ${REPO_ADD} ${REPO_DIR}/${REPO_NAME}.db.tar.gz $pkgfile
done
rm -rf ${REPO_DIR}/${REPO_NAME}.db.tar.gz.old
}
# 上传到googlecode的python脚本
if [ ! -f $(pwd)/googlecode_upload.py ]; then
wget -q http://support.googlecode.com/svn/trunk/scripts/googlecode_upload.py
chmod +x $(pwd)/googlecode_upload.py
fi
UPLOADPROG="$(pwd)/googlecode_upload.py"
# 列出已经上传googlecode项目的文件
list_in_project ()
{
links -no-g -dump http://code.google.com/p/$1/downloads/list | grep "gz" >$2
if [ $? -ne 0 ]; then error "无法访问http://code.google.com/p/${Project_Name}/downloads/list，请检查网络连接"; fi
}
# 检查软件仓$1 是否已经在软件仓配置文件$2 中定义
is_in_pacmanconf ()
{
if [ "x$(cat ${PACMANCONF} | sed -r "s/#.*//" | egrep "\[*${REPO_NAME}\]")" = "x" ]; then echo "0"; fi
}
# 将自定义的软件仓加入到PACMANCONF中，默认第一优先
# pacman.conf须是在# and they will be used before the default mirrors.行后开始定义软件仓.
add_customrepo2pacmanconf ()
{
if [ "$(is_in_pacmanconf ${REPO_NAME} ${PACMANCONF})" = "0" ]; then
sudo sed -i "/# uncommented to enable the repo./ a\
\ \n#本地自定义软件仓\n[${REPO_NAME}]\
\nServer = file://${REPO_DIR} \n" ${PACMANCONF}
if [ $? -eq 0 ]; then info "添加成功!"; else error "添加错误！请查看原文件！"; fi
else
warn "该软件仓已经添加到${PACMANCONF},请检查${PACMANCONF}："
info " 如果定义的为同一软件仓库，则无须添加"
info " 如果定义的不是同一软件仓，则重新指定软件仓名称，重新运行$APPNAME create...来创建软件仓"
info " 再运行 $APPNAME add ... 添加到软件仓配置文件pacman.conf"
fi
}
_create ()
{
if [ x"${REPO_DIR}" = "x" -o x"${REPO_NAME}" = "x" ]; then
error "必须指定软件仓位置及软件仓名"
usage 1
else
info "在${REPO_DIR} 建立自定义软件仓库[${REPO_NAME}]"
custom_repo ${REPO_DIR} ${REPO_NAME}
fi
info "在目录${REPO_DIR}下的软件仓${REPO_NAME}建立完成！"
}
# 维护googlecode人员用户信息
checkuser ()
{
if [ "x$UserName" = "x" -o "x$Passwd" = "x" ]; then
if [ -f ~/.googlecode ]; then
. ~/.googlecode
else
warn "无googlecode用户信息"; usage 1 ;;
fi
else
if [ -f ~/.googlecode ]; then
sed -i "s/UserName=.*/UserName="$UserName"/g" ~/.googlecode
sed -i "s/Passwd=.*/Passwd="$Passwd"/g" ~/.googlecode
else
echo "UserName=$UserName" >~/.googlecode
echo "Passwd=$Passwd" >>~/.googlecode
fi
fi
}
_upload ()
{
checkuser
if [ "x${REPO_DIR}" = "x" ]; then
error "必须指定软件仓位置"
usage 1
fi
if [ "x${Project_Name}" = "x" -o "x${UserName}" = "x" ]; then
error "必须指定预上传的googlecode项目名、用户名及密码"
usage 1
fi
info "正将自定义软件仓${REPO_DIR}下的文件，以用户${UserName}身份上传到googlecode项目${Project_Name}"
list_in_project ${Project_Name} $(pwd)/old.list
for file in $(ls ${REPO_DIR}); do
exist=""
exclude=""
info "查看$file是否需要上传"
size=$(ls -l ${REPO_DIR}/$file | cut -d " " -f 5)
if [ $size -ge 99999999 ]; then
echo "$file 大小为$size，超过googlecode上传上限"
exclude="y"
fi
if [ "x$(cat $(pwd)/old.list | egrep "$file")" != "x" ]; then
exist="y"
if [ "${FORCE}" != "y" ]; then exclude="y"; else exclude="n"; fi
fi
if [ "x${EXCLUDELIST}" != "x" ]; then
[ "x$(cat ${EXCLUDELIST} | sed -r "s/#.*//" | egrep "$file")" != "x" ] && (exclude="y")
fi
# *.pkg.tar.gz 是软件仓数据库文件，无论是否存在是否排除，均需要更新
if [ "x$(ls -l ${REPO_DIR}/$file | cut -d " " -f 8 | grep "db.tar.gz")" != "x" ]; then exclude="n"; fi
if [ "${exclude}" != "y" ]; then
if [ "${exist}" = "y" ]; then
warn "$file已经存在于http://${Project_Name}.googlecode.com, 现在重新上传覆盖"
else
info "正将${REPO_DIR}/$file 上传到 http://${Project_Name}.googlecode.com"
fi
python ${UPLOADPROG} -s $file -p ${Project_Name} -u ${UserName} -w ${Passwd} -l $file ${REPO_DIR}/$file
if [ $? -ne 0 ]; then
error "上传$file失败，请检查网络或者googlecode，网络不通或者该文件已经上传?"
fi
fi
done
list_in_project ${Project_Name} $(pwd)/new.list
}
_add ()
{
if [ "x${REPO_DIR}" = "x" -o "x${REPO_NAME}" = "x" ]; then
error "必须指定软件仓位置及软件仓名"
usage 1
fi
if [ "x${PACMANCONF}" = "x" ]; then
error "必须指定预添加到的pacman.conf"
usage 1
fi
info "将${REPO_DIR}下的自定义软件仓${REPO_NAME}添加到软件仓配置文件${PACMANCONF}"
add_customrepo2pacmanconf ${REPO_NAME} ${REPO_DIR} ${PACMANCONF}
}
if [ "${command_name}" = "create" -o "${command_name}" = "c_and_u" -o "${command_name}" = "c_and_a" ]; then _create; fi
if [ "${command_name}" = "upload" -o "${command_name}" = "c_and_u" ]; then _upload; fi
if [ "${command_name}" = "add" -o "${command_name}" = "c_and_a" ]; then _add; fi

复制代码

maxint · 发表于 2009-6-7 16:51:13

ym下shell编程
这个是做什么的，上传到pacman的软件仓库和google code有什么关系？
倒是源里的xf86-input-evdev包在我的笔记本上一直工作不正常，有大升级时就需要自己改下重新编译

carbonjiao · 发表于 2009-6-7 17:18:39

这个脚本与本人之前的文章
《利用googlecode建立自己的Arch软件仓库》http://www.linuxsir.cn/bbs/thread347713.html
形成呼应！

建立自己的Arch Repo后，上传到自己建立的项目空间上去，这样可以供大家和自己日后使用。。。

archlive小组已经在googlecode上建立xfce4-devel xfce4-svn的软件仓
《在http://archlive-pkg.googlecode.com上新建了个xfce4 的repo》
http://www.linuxsir.cn/bbs/thread348105.html

该脚本主要实现三个功能：
1、在制定目录下建立自定义软件仓；
2、将制定目录下的自定义软件仓批量上传到googlecode的制定项目空间；
3、将自定义软件仓的相关设置加到制定的 pacman.conf （一般用户/etc/pacman.conf，制作archlive的就还有另外的软件仓配置文件了）

有了这个脚本，大家都可以建立自己的软件仓共享给大家。。。

（不用一个一个上传了！）

carbonjiao · 发表于 2009-6-7 17:20:32

Post by maxint;1995167
ym下shell编程
倒是源里的xf86-input-evdev包在我的笔记本上一直工作不正常，有大升级时就需要自己改下重新编译

如何的不正常？

你是如何改的？

向我抱怨官方源的问题？——去官方的butreport 或者googlecode上的arch-cn
(翻一下以前的帖子)

jarryson · 发表于 2009-6-8 00:43:25

牛，支持以下

carbonjiao · 发表于 2009-6-8 11:06:03

今天有时间再优化下

今天凌晨经过测试， googlecode能接受强行上传——服务器上已经存在的文件，再次传同名文件的时候自动用新文件覆盖！

所以这个脚本再加个条件判断就更加完美了！！！

		自动登录	找回密码
密码			注册

[原创]脚本：在指定位置建立软件仓，并上传googlecode、添加到pacman.conf的脚本

浏览过的版块