[原创]脚本：自动维护googlecode上的Arch软件仓库

carbonjiao · 发表于 2009-6-16 18:45:35

为了方便大家积极参与到archlive-pkg archlive项目，写此脚本

欢迎大家勘误，欢迎大家提出修改意见

将该脚本保存为maintain_xfce4-svn：
1、sh ./maintain_xfce4-svn co 检出svn
然后就可以编辑pkgbuild文件，如果软件的PKGBUILD是svn的，一般不用更改。。。

2、sh ./maintain_xfce4-svn -i compile 批量编译并安装到本地计算机
编译xfce4-svn需要边编译边安装，后面的依赖前面的

3、 sh ./maintain_xfce4-svn repo 更新软件仓数据库文件

4、sh ./maintain_xfce4-svn upload 批量上传

5、 sh ./maintain_xfce4-svn update 将本地svn修改更新到googlecode上的svn仓库

#!/bin/bash
# 自动编译维护repo的脚本作者 Carbon Jiao
# 本脚本给予GPL v3发布，使用者须遵循GPL v3相应规定
# 本脚本调用的脚本版权归原作者
#
# 本脚本主要实现以下功能：
# 1、从指定的googlecode项目上下载指定名称的PKGBUILD配置文件
# 2、批量编译指定目录下的软件
# 3、将编译后的软件包创建repo，并更新到总repo数据库文件
# 4、将编译的软件包批量上传到googlecode指定的项目文件中
# 5、将修改后的PKGBUILD文件更新回googlecode指定项目的svn仓库
# 特别说明：维护对应软件仓里面的软件的依赖关系必须放在对应软件仓目录下的depends文件中
# 下个版本将对普通软件包自动检测依赖关系
#
#----2009-06-17 判断一个程序是否已经安装
#----2009-06-17 在olympic的帮助下debug sed -i 's/^M//g' maintain ^M由Ctrl-v +M 输入，多余的回车符——用notepad编辑过)
#----2009-06-16 第一版
#
APPNAME=$(basename "${0}")
# 维护archlive-pkg 维护人员用户信息
UserName="carbonjiao@gmail.com"
Passwd=""
# 此密码非gmail帐号密码，是项目授权密码在http://code.google.com/hosting/settings页面查看
START=$(pwd)
# 不上传的文件清单，须全名（一般维护不需要）
if [ -f $(pwd)/exclude.list ]; then
EXCLUDELIST="$(pwd)/exclude.list"
else
EXCLUDELIST=""
fi
# 如果googlecode上已经存在预提交的文件，则不覆盖
FORCE="n"
# 即使googlecode上已经存在预提交的文件也提交
#FORCE="y"
Project_Name="archlive-pkg"
URL="http://${Project_Name}.googlecode.com"
SVN_URL="$URL/svn/trunk/PKGBUILD"
Full_Repo_Name="archlive-pkg"
This_Repo_Name="xfce4-svn"
# 编译后是否安装?
INSTALL=n
PKGDIR=$START/PKG
SVNDIR=$START/${This_Repo_Name}
# 编译好的包放在当前目录的PKG目录下
if [ ! -d $PKGDIR ]; then
mkdir -p $PKGDIR
fi
# 软件仓数据库文件制作脚本，属于pacman
if [ -f "$(pwd)/repo-add" ]; then
REPO_ADD="$(pwd)/repo-add"
else
REPO_ADD="/usr/bin/repo-add"
fi
usage ()
{
echo " 用法: ${APPNAME} [选项] 命令 <命令选项>"
echo " 选项:"
echo " -p Project_Name 预上传到googlecode的项目名, 默认: archlive-pkg"
echo " -u UserName Googlecode帐号"
echo " -w Passwd Googlecode密码"
echo " -e EXCLUDELIST 不上传的文件清单"
echo " -F Full_Repo_Name 全局软件仓名"
echo " -r This_Repo_Name 该小软件仓名"
echo " -f 即使googlecode上已经有的软件包也上传"
echo " -i 编译后安装软件包到本地计算机, 编译xfce4-svn须要加"
echo " -h 本帮助信息."
echo " 命令:"
echo " co 从googlecode指定项目检出pkgbuild文件"
echo " compile 将<SVNDIR>下的所有软件包编译并将编译好的包放到<PKGDIR>,同时更新<SVNDIR>里面的PKGBUILD"
echo " repo 将本地<PKGDIR>下的软件包加入到软件仓数据库"
echo " upload 将本地<PKGDIR>下的软件包上传到googlecode指定项目"
echo " update 将本地<SVNDIR>下的软件编译配置文件更新\提交到googlecode SVN仓库"
exit $1
}
error () { echo "错误 $@";}
warn () { echo "警告 $@";}
info () { echo "*** $@";}
# 检测、配置输入的命令
while getopts 'p:u:w:e:F:r:ifh' arg; do
case "${arg}" in
p) Project_Name="${OPTARG}" ;;
u) UserName="${OPTARG}" ;;
w) Passwd="${OPTARG}" ;;
e) EXCLUDELIST="${OPTARG}" ;;
F) Full_Repo_Name="${OPTARG}" ;;
r) This_Repo_Name="${OPTARG}" ;;
i) INSTALL="y" ;;
f) FORCE="y" ;;
h|?) usage 0 ;;
*) echo "无效参数 '${arg}'"; usage 1 ;;
esac
done
echo "参数及命令: $@"
shift $(($OPTIND - 1))
echo "命令: $@"
command_name="${1}"
case "${command_name}" in
co) remark="从googlecode指定项目检出pkgbuild文件" ;;
compile) remark="编译软件包" ;;
repo) remark="创建\更新软件仓库" ;;
upload) remark="上传编译的包到googlecode软件仓" ;;
update) remark="更新本地的PKGBUILD到googlecode的SVN仓库" ;;
*) warn "未知命令'${command_name}'"; usage 1 ;;
esac
info " ${APPNAME}程序设置:"
echo " 命令: ${command_name} —— ${remark}"
echo " 预上传googlecode的项目名: ${Project_Name}"
echo " 预上传使用的用户名: ${UserName}"
echo " 预上传用户的密码: ${Passwd}"
echo " 编译后是否安装: ${INSTALL}"
echo " 是否覆盖: ${FORCE}"
sleep 1
do_checkout ()
{
echo "从$URL下载${This_Repo_Name}的编译配置文件"
svn co ${SVN_URL}/${This_Repo_Name} $SVNDIR
cp -rf $SVNDIR ${SVNDIR}-build
}
rmlockfile ()
{
if [ -f /var/lib/pacman/db.lck ]; then sudo rm -f /var/lib/pacman/db.lck; fi
}
# 查看软件$1是否已经已经安装，如果已经安装则返回1, 否则返回0
# $1 软件包名称
already_installed ()
{
sudo pacman -Q | grep "^$1 " >/dev/null 2>&1
}
# 配置编译环境
# 编译依赖包，像xfce4-svn这种必须安装一定顺序编译安装的就需要在depends中列出安装依赖包
prepare_depends ()
{
cat "${This_Repo_Name}-build/depends" | grep -v "^#" | while read pkgname; do
#if [ "$(sudo pacman -Q | grep "^$pkgname ")" = "x" ]; then
if ! already_installed $pkgname; then
echo "安装编译依赖包$pkgname"
rmlockfile
#if [ -f /var/lib/pacman/db.lck ]; then sudo rm -f /var/lib/pacman/db.lck; fi
sudo pacman -Sf --noprogressbar --noconfirm $pkgname
fi
done
}
function_compile ()
{
echo "编译并安装 $pkgname"
cd ${SVNDIR}-build/$pkgname
makepkg
if [ $? -ne 0 ]; then
echo "编译失败"
return 1
break
else
if [ "$INSTALL" = "y" ]; then
rmlockfile
#if [ -f /var/lib/pacman/db.lck ]; then sudo rm -f /var/lib/pacman/db.lck; fi
sudo pacman -Uf *.pkg.tar.gz
fi
fi
mv -f *.pkg.tar.gz $PKGDIR
find . -maxdepth 1 -type f -name "*" -exec cp -f {} $SVNDIR/$pkgname/ \;
cd ../
}
# 编译、安装
do_compile ()
{
prepare_depends
if [ -f ${SVNDIR}-build/order ]; then
cat "${SVNDIR}-build/order" | grep -v "^#" | while read pkgname; do
function_compile
done
else
for pkgname in $(ls ${SVNDIR}-build); do
[ "x$(file ${SVNDIR}-build/$pkgname | grep "directory")" != "x" ] && continue
function_compile
done
fi
}
# 创建\更新软件仓数据库文件
create_repo ()
{
if [ "x${Full_Repo_Name}" != "x" ]; then
echo "从$URL获取${Full_Repo_Name}软件仓数据库文件"
wget $URL/files/${Full_Repo_Name}.db.tar.gz
mv -f ${Full_Repo_Name}.db.tar.gz $PKGDIR/
fi
for pkgfile in $(ls $PKGDIR/*.pkg.tar.gz); do
sh ${REPO_ADD} $PKGDIR/${This_Repo_Name}.db.tar.gz $pkgfile
if [ "x${Full_Repo_Name}" != "x" ]; then
sh ${REPO_ADD} $PKGDIR/${Full_Repo_Name}.db.tar.gz $pkgfile
fi
done
rm -f $PKGDIR/*.db.tar.gz.old
}
# 列出googlecode项目的文件
list_in_project ()
{
links -no-g -dump http://code.google.com/p/$1/downloads/list | grep "gz" >$2
if [ $? -ne 0 ]; then error "无法访问http://code.google.com/p/${Project_Name}/downloads/list，请检查网络连接"; fi
}
do_upload ()
{
# 上传到googlecode的python脚本
if [ ! -f $START/googlecode_upload.py ]; then
wget -q http://support.googlecode.com/svn/trunk/scripts/googlecode_upload.py
mv googlecode_upload.py $START/
chmod +x $START/googlecode_upload.py
fi
UPLOADPROG="$START/googlecode_upload.py"
list_in_project ${Project_Name} $START/old.list
for file in $(ls $PKGDIR); do
exist=""
exclude=""
info "查看$file是否需要上传"
size=$(ls -l $PKGDIR/$file | cut -d " " -f 5)
if [ $size -ge 99999999 ]; then
# googlecode最大允许100MB
echo "$file 大小为$size，超过googlecode上传上限"
exclude="y"
fi
if [ "x$(cat $START/old.list | egrep "^$file")" != "x" ]; then
exist="y"
# 如果googlecode上已经存在，如果有 -f 参数，则须要上传，否则不上传
if [ "${FORCE}" != "y" ]; then exclude="y"; else exclude="n"; fi
fi
# 如果在EXCLUDELIST，则不上传
if [ "x${EXCLUDELIST}" != "x" ]; then
[ "x$(cat ${EXCLUDELIST} | sed -r "s/#.*//" | egrep "^$file")" != "x" ] && (exclude="y")
fi
# *.db.tar.gz 是软件仓数据库文件，无论是否存在是否排除，均需要更新
if [ "x$(ls -l $PKGDIR/$file | cut -d " " -f 8 | egrep "db.tar.gz")" != "x" ]; then exclude="n"; fi
if [ "${exclude}" != "y" ]; then
if [ "${exist}" = "y" ]; then
warn "$file已经存在于http://${Project_Name}.googlecode.com, 现在重新上传覆盖"
else
info "正将$PKGDIR/$file上传到 http://${Project_Name}.googlecode.com"
fi
python ${UPLOADPROG} -s $file -p ${Project_Name} -u ${UserName} -w ${Passwd} -l $file $PKGDIR/$file
if [ $? -ne 0 ]; then
error "上传$file失败，请检查网络或者googlecode，网络不通或者该文件已经上传?"
fi
fi
done
list_in_project ${Project_Name} $START/new.list
}
# 提交更新到googlecode软件仓库
do_update ()
{
cd ${SVNDIR}
svn ci -m "由${UserName}于$(date +%F" "%T)更新" --username ${UserName} --password $Passwd
}
if [ "${command_name}" = "co" ]; then do_checkout; fi
if [ "${command_name}" = "compile" ]; then do_compile; fi
if [ "${command_name}" = "repo" ]; then create_repo; fi
if [ "${command_name}" = "upload" ]; then do_upload; fi
if [ "${command_name}" = "update" ]; then do_update; fi

复制代码

saiddy · 发表于 2009-6-16 19:34:34

这个怎么进行管理呢？

e66m · 发表于 2009-6-16 21:09:43

google code 被强暴了。我会搞的。

carbonjiao · 发表于 2009-6-16 21:14:42

Post by saiddy;1998481
这个怎么进行管理呢？

暂时还是部署阶段，

近期我会将我定制的所有软件包的PKGBUILD全部整理放入googlecode的SVN仓库，

然后就可以用这个脚本来维护了

到时候在wiki里面会有详细说明

现在大家可以专心写些自己的PKGBUILD。。。

axlrose · 发表于 2009-6-17 09:34:19

顶一个,学习了
里面很多注释,还有mkarchlive里面也是, 还可以当作学习shell不错的参考实例

carbonjiao · 发表于 2009-6-17 12:04:08

Post by axlrose;1998651
顶一个,学习了
里面很多注释,还有mkarchlive里面也是, 还可以当作学习shell不错的参考实例

暫時可能還有些問題，剛剛在irc裏面的olympic大俠的幫助下debug了。。。

athurg · 发表于 2009-6-17 17:01:41

为什么都喜欢简单问题复杂化呢？

建议给makpkg加一个patch，在选择PKGBUILD的时候，加上版本筛选的功能。

举例而言，makepkg默认寻找当前目录下的PKGBUILD，如果有就以此编译，否则报错。
因此可以给他加个补丁实现一下功能：
当有PKGBUILD的时候直接采用该文件
当没有PKGBUILD这个文件的时候，自动寻找PKGBUILD-版本号，如果找到多个，就应用规则自动选取最新的版本
可以将-p选项的功能（以前是手动指定PKGBUILD的文件名）改为设定要编译的版本的功能。
即：makepkg -p 1.2.3 可以自动选取PKGBUILD-1.2.3这个文件进行编译。

具体可参考emerge。我觉得这个特性值得借鉴。这样也利于在ABS里保存软件的不同版本。

e66m · 发表于 2009-6-17 19:03:12

还是一版一夹子好，kiss。不然太乱

carbonjiao · 发表于 2009-6-17 21:16:55

Post by athurg;1998821
为什么都喜欢简单问题复杂化呢？

不明白，这个脚本执行的功能——从http://archlive-pkg.googlecode.com SVN仓库下载PKGBUILD，批量编译、建立最终的软件仓数据库文件、批量提交到 http://archlive-pkg.googlecode.com/files 里、自动更新 SVN 仓库

要实现这样的功能，如果手动，执行。。。很恐怖，也许一天都没有办法搞定

但如此执行该脚本(脚本名 maintain_xfce4-svn)：
1、sh ./maintain_xfce4-svn co    检出svn

   然后就可以编辑pkgbuild文件，如果是svn的，一般不用更改。。。

2、sh ./maintain_xfce4-svn -i compile    批量编译并安装到本地计算机

编译xfce4-svn需要边编译边安装，后面的依赖前面的

3、 sh ./maintain_xfce4-svn repo    更新软件仓数据库文件

4、sh ./maintain_xfce4-svn upload    批量上传

5、 sh ./maintain_xfce4-svn update    将本地svn修改更新到googlecode上的svn仓库

有了此脚本，整个过程如此简单了，  难道会让简单变复杂？

carbonjiao · 发表于 2009-6-17 21:18:01

Post by athurg;1998821

建议给makpkg加一个patch，在选择PKGBUILD的时候，加上版本筛选的功能。

举例而言，makepkg默认寻找当前目录下的PKGBUILD，如果有就以此编译，否则报错。
因此可以给他加个补丁实现一下功能：
当有PKGBUILD的时候直接采用该文件
当没有PKGBUILD这个文件的时候，自动寻找PKGBUILD-版本号，如果找到多个，就应用规则自动选取最新的版本
可以将-p选项的功能（以前是手动指定PKGBUILD的文件名）改为设定要编译的版本的功能。
即：makepkg -p 1.2.3 可以自动选取PKGBUILD-1.2.3这个文件进行编译。

具体可参考emerge。我觉得这个特性值得借鉴。这样也利于在ABS里保存软件的不同版本。

你可以考虑，写个patch啊。。。

		自动登录	找回密码
密码			注册

[原创]脚本：自动维护googlecode上的Arch软件仓库

浏览过的版块