当前位置：首页 > 软件开发 > 开发语言 > Python

Python 新浪微博各种表情使用频率

来源：岁月联盟编辑：exp 时间：2011-10-21

主题：用新浪微博API积累了微博广场的1.4万条数据，我选择了21个字段输出为TXT文件，想用Python稍微处理一下，统计一下这1.4万条微博里面表情使用情况，统计结构在最后。

无聊的时候用了下新浪JAVA版的API，对JAVA还不熟悉，但是稍微改一下还是没问题的，数据保存为TXT文件，再用Python处理，JAVA部分很简单，Python部分只涉及到表情的正则提取，都不好意思写出来了。

1、调用新浪JAVA API下载微博广场数据
步骤思路：
初始化API的Weibo类，设置Token后，设置下载间隔，然后重复调用getPublicTimeline()函数就可以了，下面是主要类的代码：
这个不是完整的代码，没有初始化暂停间隔，可以掠过，很简单。

			 1 class WriteWeiboData{ 2     private int n; 3     public WriteWeiboData(int count) 4     { 5         this.n=count; 6     } 7     public void Start(){ 8         System.setProperty("weibo4j.oauth.consumerKey", Weibo.CONSUMER_KEY); 9         System.setProperty("weibo4j.oauth.consumerSecret", Weibo.CONSUMER_SECRET);10         try {11             //获取前20条最新更新的公共微博消息12             Weibo weibo = new Weibo();13             //weibo.setToken(args[0],args[1]);14             weibo.setToken("keystring", "keyscrect");15             for(int i=0;i<this.n;i++){16                 System.out.print("Start to get weibo data num "+(i+1)+"/n");17                 List<Status> statuses =weibo.getPublicTimeline();18                 for (Status status : statuses) {19                     SaveData(status);20                 }21                 try{22                     System.out.print("Success to get weibo data num "+(i+1)+"/n");23                     System.out.print("Sleep for 30 seconds");24                     Thread.sleep(30000);25                 }catch(Exception ee){26                     System.out.print("Sleep Error");27                 }28             }29         } catch (WeiboException e) {30             e.printStackTrace();31         }32     }33     public void SaveData(Status status){34         //Return data format:35                 //created_at,id,text,source,mid36                 //user:id,screen_name,name,provience,city,location,description,url,domain,gender,37                 //followers_count,friends_count,statuses_count,favourites_count,created_at,verified38                 //annotations:server_ip39                 try{40                     User user=status.getUser();41                     FileWriter fw=new FileWriter("F:/Sina.txt",true);42                     fw.write(status.getCreatedAt()+"/t"+status.getId()+"/t"+status.getText()+"/t"+43                     status.getSource()+"/t"+status.getMid()+"/t"+44                     user.getId()+"/t"+user.getScreenName()+"/t"+user.getName()+"/t"+45                     user.getProvince()+"/t"+user.getCity()+"/t"+user.getLocation()+"/t"+46                     user.getDescription()+"/t"+user.getURL()+"/t"+user.getUserDomain()+"/t"+47                     user.getGender()+"/t"+user.getFollowersCount()+"/t"+user.getFriendsCount()+"/t"+48                     user.getStatusesCount()+"/t"+user.getFavouritesCount()+"/t"+user.getCreatedAt()+"/t");49                     fw.write("/n");50                     fw.close();51                 }52                 catch(Exception e){53                     System.out.print("IO Error");54                 }55     }56 }

2、数据格式：

要取得数据就是微博内容，先练一下手玩玩。

3、Python处理数据
目标：查看微博用户表情使用情况，暂时只分性别，如果积累了合适的数据后可以分析各个时间段人们爱用哪种表情。
步骤：
$ 读取TXT文件，递归处理每一行
$ 单独提取出微博字段，正则提取表情字段，同时把性别提取出来，放到一个dict里面，dict的格式是：表情/女性使用频率/男性使用频率，递归处理，累积频率
$ 把结果写入到文件
注意：Python正则提取中文部分，先解码成unicode编码，再正则提取，表情的标志是[]，虽有误差，但无大碍。
代码：
__collection函数是处理函数，返回处理结果(dict)

			 1 class EmotionFrequent(): 2     infoFile='F:/Sina.txt' 3     def __init__(self): 4         pass 5     def __collection(self): 6         f=open(self.infoFile) 7         d=dict() 8         n=1 9         for line in f.readlines():10             if line.strip()=='' or line.strip()=='/n':11                 pass12             cols=line.split('/t')13             if len(cols)<20:14                 continue15             n+=116             es=[]17             #if cols[2].find('[')!=-1 and cols[2].find(']')!=-1:18             info=cols[2]19             for i in re.findall(r'/[/S+?/]',info.decode('utf-8')):20                 data=i[1:-1].encode('utf-8')21                 if d.has_key(data):22                     if cols[14]=='f':23                         d[data][0]+=124                         d[data][2]+=125                     else:26                         d[data][1]+=127                         d[data][2]+=128                 else:29                     if cols[14]=='f':30                         d[data]=[1,0,1]31                     else:32                         d[data]=[0,1,1]33         print 'Total records num '+str(n)34         return d35         pass36     def WriteDict(self):37         d=self.__collection()38         f=open('F:/keys.txt','w')39         for k in d:40             f.write(k+'/t')41             f.write(str(d[k][0])+'/t')42             f.write(str(d[k][1])+'/t')43             f.write(str(d[k][2])+'/n')44         f.close()45         pass46     def Run(self):47         self.WriteDict()48     pass