怎么过滤掉文本文件中的非中文？

swors

或者过滤掉文本文件中的中文

luoyong

如果是unicode在Perl里可以用\X过滤,在Shell里可能也有类似的

zhy2111314

这个我感觉好像不好办：（

yongjian

Post by swors
或者过滤掉文本文件中的中文

用POSIX class

去en文：

1. 
   
2. s/[[:alpha:]]//g
   

复制代码

去中文(或者说，不是en文的东西):

1. 
   
2. s/[^[:alpha:]]*//g
   

复制代码

troll

不行，我这里[:alnum:][:print:][:graph:][:alpha:]都把中文包含在内。

这个倒可以：

1. s/[^[:upper:][:lower:][:digit:][:space:][:punct:]]//g

复制代码

yongjian

Post by troll
不行，我这里[:alnum:][:print:][:graph:][:alpha:]都把中文包含在内。

这个倒可以：

1. s/[^[:upper:][:lower:][:digit:][:space:][:punct:]]//g

复制代码

这个去掉的可就不止是中文了。我提供的方法在我的机子上测试是可以的，看来这个可能和中文所用的encoding码有关。我用的是GBK码。

troll

1. s/[^[:alpha:]]*//g

复制代码

GBK编码也不行，把标点之类的全过滤了，中文还在。

yongjian

Post by yongjian
这个去掉的可就不止是中文了。我提供的方法在我的机子上测试是可以的，看来这个可能和中文所用的encoding码有关。我用的是GBK码。

对不起troll，是我给出的结果错了。只用[:alpha:]是不对的。还有就是我发现sed下和vi下POSIX char class包括的内容不一样。你可能是用的sed测试的, 我使用的是vi。这个很有意思。

troll

是的，原来如此。