translators
[iramuteq] / build_dictionnaries.py
1 # -*- coding: utf-8 -*-
2 #Author: Pierre Ratinaud
3
4
5 import codecs
6 import os
7 from time import time
8 import re
9 from subprocess import *
10 import sys, string
11 from xml.dom import minidom, Node
12
13
14 txtdir = '/home/pierre/workspace/iramuteq/dev/langues/italian'
15 encodage = 'macroman'
16 treetagger = '/home/pierre/prog/treetagger/cmd/tree-tagger-italian-utf8'
17 fileout = '/home/pierre/workspace/iramuteq/dev/langues/lexique_it_t1.txt'
18 stopword = '/home/pierre/workspace/iramuteq/dev/langues/IT_NEW_stopwords_utf8.txt'
19 lexique = '/home/pierre/workspace/iramuteq/dev/langues/lexique_it.txt'
20 xmlfile = '/home/pierre/workspace/iramuteq/dev/langues/itwiki-latest-pages-articles.xml'
21
22
23 import xml.sax
24
25 class WikiPediaHandler(xml.sax.ContentHandler):
26     def __init__(self, sparser) :
27         self.txt = False
28         self.totreat = []
29         self.tottitle = 0
30         self.diff = 0
31         self.last = 0
32         self.sparser = sparser 
33
34     def startElement(self, name, attrs):
35         if self.diff > 1000 :
36             self.sparser.treat_formes()
37             self.last = len(self.sparser.formes)
38             self.diff = 0
39         if name == 'title' :
40             self.tottitle += 1
41             if len(self.totreat) > 100000 :
42                 self.diff = len(self.sparser.formes) - self.last
43                 self.sparser.doparsewiki(' '.join(self.totreat))
44                 self.totreat = []
45                 print 'titres :', self.tottitle
46         if name == 'text' :
47             self.txt = True
48         else :
49             self.txt = False
50         #if name == "title":
51         #    for item in attrs.items():
52         #        print item
53     def characters(self, content) :
54         if self.txt :
55             self.totreat.append(content)
56
57 class Parser :
58     def __init__(self, txtdir, encodage, treetagger, fileout) :
59         self.txtdir = txtdir
60         self.encodage = encodage
61         self.tt = treetagger
62         self.formes = {}
63         self.fileout = fileout
64         #self.doparse()
65         #self.treat_formes(fileout)
66
67     def clean(self, txt) :
68         txt = txt.lower()
69         keep_caract = u"a-zA-Z0-9àÀâÂäÄáÁéÉèÈêÊëËìÌîÎïÏòÒôÔöÖùÙûÛüÜçÇß’ñ.:,;!?\n*'_-"
70         list_keep = u"[^" + keep_caract + "]+"
71         txt = re.sub(list_keep, ' ', txt)
72         txt = txt.replace(u'’',u"'")
73         txt = txt.replace(u'\'',u' ').replace(u'-', u' ')
74         txt = txt.replace(u'?',u' ? ').replace(u'.',u' . ').replace(u'!', u' ! ').replace(u',',u' , ').replace(u';', u' ; ').replace(u':',u' : ')
75         txt = ' '.join(txt.split())
76         return txt
77
78     def update_dict(self, tmpfile) :
79         with codecs.open(tmpfile, 'r', 'utf8') as f :
80             content = f.read()
81         content = [line.split('\t') for line in content.splitlines()]
82         for forme in content :
83             if (forme[2] == u'<unknown>') or (forme[1] in [u'PON', u'<unknown>', u'SYM', u'SENT']) or (forme[1]==u'NUM' and forme[2]==u'@card@') :
84                 pass
85             elif (forme[0], forme[1]) in self.formes :
86                 self.formes[(forme[0], forme[1])][0] += 1
87             else :
88                 self.formes[(forme[0], forme[1])] = [1, forme[2]]
89         print len(self.formes)
90
91     def treat_formes(self) :
92         print 'treat_formes'
93         nformes= {}
94         for forme in self.formes :
95             if forme[0] in nformes :
96                 if self.formes[forme][0] > nformes[forme[0]][0] :
97                     nformes[forme[0]] = [self.formes[forme][0], forme[1], self.formes[forme][1]]
98             else :
99                 nformes[forme[0]] = [self.formes[forme][0], forme[1], self.formes[forme][1]]
100         with open(self.fileout, 'w') as f :
101             toprint = [[forme, nformes[forme][1], nformes[forme][2], `nformes[forme][0]`] for forme in nformes]
102             toprint = sorted(toprint)
103             toprint = '\n'.join(['\t'.join(line) for line in toprint])
104             f.write(toprint.encode('utf8'))
105         print len(nformes)
106
107     def doparsewiki(self, content) :
108         content = self.clean(content)
109         with open('/tmp/tmptxt', 'w') as f :
110             f.write(content.encode('utf8'))
111         p1 = Popen(['cat', '/tmp/tmptxt'], stdout = PIPE)
112         with open('/tmp/tttmp', 'w') as f :
113             p2 = Popen([treetagger], stdin = p1.stdout, stdout = f)
114             out = p2.communicate()
115         self.update_dict('/tmp/tttmp')
116
117     def doparse(self):
118         files = os.listdir(self.txtdir)
119         for fpath in files :
120             fpath = os.path.join(self.txtdir, fpath)
121             print fpath
122             with codecs.open(fpath, 'r', self.encodage) as f : 
123                 content = f.read()
124             content = self.clean(content)
125             with open('/tmp/tmptxt', 'w') as f :
126                 f.write(content.encode('utf8'))
127             p1 = Popen(['cat', '/tmp/tmptxt'], stdout = PIPE)
128             with open('/tmp/tttmp', 'w') as f :
129                 p2 = Popen([treetagger], stdin = p1.stdout, stdout = f)
130                 out = p2.communicate()
131             self.update_dict('/tmp/tttmp')
132
133
134 class PostTreat :
135     def __init__(self, infile, outfile, stopw = None) :
136         self.dictg = {}
137         with codecs.open(infile, 'r', 'utf8') as f :
138             content = f.read()
139         content = [line.split('\t') for line in content.splitlines()]
140         content = [self.treatline(line) for line in content if line[3] != '1']
141         self.formes = {}
142         self.lems = {}
143         if stopw is not None :
144             with codecs.open(stopw, 'r', 'utf8') as f :
145                 stw = f.read()
146             self.stw = stw.splitlines()
147             content = self.dostopword(content)
148         self.printcontent(content, outfile)
149         self.dictg = {}
150         for forme in self.formes :
151             self.dictg[self.formes[forme][2]] = self.dictg.get(self.formes[forme][2],0) + 1
152         print self.dictg
153         print content[0:10]
154         print len(content)
155     
156     def treatline(self, line) :
157         gram = line[1].split(u':')[0].lower()
158         self.dictg[gram] = self.dictg.get(gram, 0) + 1
159         return [line[0], line[2], gram, int(line[3])]
160
161     def dostopword(self, content) :
162         for line in content :
163             self.formes[line[0]] = line
164             self.lems[line[1]] = line
165         for word in self.stw :
166             if word in self.formes :
167                 print word, self.formes[word]
168                 if self.formes[word][2] in ['adj','adv','ver','nom'] :
169                     self.formes[word][2] = self.formes[word][2] + '_sup'
170                     print self.formes[word]
171             else :
172                 self.formes[word] = [word, word, 'sw', 0]
173         return sorted([[forme, self.formes[forme][1], self.formes[forme][2]] for forme in self.formes])
174
175     def printcontent(self, content, outfile) :
176         with open(outfile, 'w') as f :
177             f.write('\n'.join(['\t'.join(line) for line in content]).encode('utf8'))
178             
179
180
181
182 #sparser = Parser('', encodage, treetagger, fileout)
183 #parser = xml.sax.make_parser()
184 #parser.setContentHandler(WikiPediaHandler(sparser))
185 #parser.parse(open(xmlfile,"r"))
186 ##Parser(txtdir, encodage, treetagger, fileout)
187 PostTreat(fileout, lexique, stopword)
188             
189
190