iramuteq.org Git - iramuteq/blob - parse_europress.py

   1 # -*- coding: utf-8 -*-
   2 #Author: Pierre Ratinaud
   3 #Copyright (c) 2014 Pierre Ratinaud
   4 #License: GNU/GPL
   5
   6
   7 #from BeautifulSoup import BeautifulSoup
   8 import codecs
   9 import os
  10 from HTMLParser import HTMLParser
  11
  12
  13 mois = {u'janvier' : '01',
  14         u'février' : '02',
  15         u'mars' : '03',
  16         u'avril' : '04',
  17         u'mai' : '05',
  18         u'juin' : '06',
  19         u'juillet' : '07',
  20         u'août' : '08',
  21         u'septembre' : '09',
  22         u'octobre' : '10',
  23         u'novembre' : '11',
  24         u'décembre' : '12',
  25         u'january' : '01',
  26         u'february': '02',
  27         u'march' : '03',
  28         u'april': '04',
  29         u'may': '05',
  30         u'june' : '06',
  31         u'july': '07',
  32         u'august': '08',
  33         u'september' : '09',
  34         u'october': '10',
  35         u'november': '11',
  36         u'december': '12'}
  37
  38
  39 def finddate(data):
  40     data = data.split()
  41     try :
  42         day = int(data[0])
  43         year = int(data[2])
  44         month = mois[data[1]]
  45     except :
  46         return None
  47     else :
  48         return [`year`, month, '%02d' % day]
  49
  50 def makedate(date):
  51     year = date[0:4]
  52     month = date[4:6]
  53     day = date[6:]
  54     return [year, month, day]
  55
  56
  57 # create a subclass and override the handler methods
  58 class MyHTMLParser(HTMLParser):
  59     def handle_starttag(self, tag, attrs):
  60         #print "Encountered a start tag:", tag
  61         if tag == 'span' :
  62             if len(attrs) > 0 :
  63                 if attrs[0][1] == 'DocPublicationName' :
  64                     #print 'DocPublicationName'
  65                     self.headercount = 0
  66                     self.currentattr = 'DocPublicationName'
  67                 elif attrs[0][1] == 'DocHeader' :
  68                     self.headercount += 1
  69                     self.currentattr = 'DocHeader'
  70                 elif attrs[0][1] in ['TitreArticleVisu', 'titreArticleVisu'] :
  71                     self.outfile.write('\n\n')
  72                     self.meta.append('\n')
  73                     self.outfile.write(' '.join(self.meta).encode('utf8', errors='replace'))
  74                     self.meta = [u'****']
  75                     self.nb += 1
  76                     self.currentattr = 'TitreArticleVisu'
  77                 elif attrs[0][1] == 'PubliC_lblNodoc' :
  78                     self.currentattr = 'PubliC_lblNodoc'
  79         elif tag == 'table' :
  80             self.currentattr = None
  81         elif tag == 'div' :
  82             if len(attrs)>0 :
  83                 if attrs[0][1] == 'publiC-lblNodoc' :
  84                     self.currentattr = 'PubliC_lblNodoc'
  85         elif tag == 'p' :
  86             if len(attrs) > 0 :
  87                 if attrs[0][1] == 'titreArticleVisu' :
  88         #            self.outfile.write('\n\n')
  89         #            self.meta.append('\n')
  90         #            self.outfile.write(' '.join(self.meta).encode('utf8', errors='replace'))
  91         #            self.meta = [u'****']
  92         #            self.nb += 1
  93                     self.currentattr = 'TitreArticleVisu'
  94
  95     def handle_endtag(self, tag):
  96         pass
  97         #print "Encountered an end tag :", tag
  98     def handle_data(self, data):
  99         if self.currentattr == 'DocPublicationName' :
 100             #print data
 101             PublicationName = data.strip().replace(' ', '_').replace('(','').replace(')','').replace('-','').replace('.','').replace('/','').replace("'",'').replace(';', '').replace(':', '').replace(u'·','').lower()
 102             PublicationName = PublicationName.split(',')[0]
 103             self.meta.append(u'*source_' + PublicationName)
 104             self.currentattr = None
 105 #        elif self.currentattr == 'DocHeader' :
 106 #            date = finddate(data)
 107 #            if date is not None :
 108 #                self.meta += [u'*date_' + '-'.join(date), u'*am_' + '-'.join(date[0:2]), u'*annee_' + date[0]]
 109         elif self.currentattr == 'TitreArticleVisu' :
 110             #print data
 111             if data.startswith(u'©') :
 112                 self.currentattr = None
 113                 return
 114             self.content.append(' '.join(data.replace('\n', ' ').split()) + ' ')
 115             #self.outfile.write(' '.join(data.replace('\n', ' ').split()).encode('utf8', errors='replace') + ' ')
 116         elif self.currentattr == 'PubliC_lblNodoc' :
 117             date = data[5:13]
 118             date = makedate(date)
 119             self.meta += [u'*date_' + '-'.join(date), u'*am_' + '-'.join(date[0:2]), u'*annee_' + date[0]]
 120             self.meta.append('\n')
 121             self.outfile.write('\n\n')
 122             self.outfile.write(' '.join(self.meta).encode('utf8', errors='replace'))
 123             self.outfile.write(' '.join(self.content).encode('utf8'))
 124             self.content = []
 125             self.meta = [u'****']
 126             self.nb += 1
 127             self.currentattr = None
 128
 129     def doinit(self, outfile):
 130         self.currentattr = None
 131         self.meta = [u'****']
 132         self.content = []
 133         self.nb = 0
 134         self.outfile = outfile
 135         print 'init ok'
 136
 137
 138 def ParseEuropress(txtdir, fileout, encodage_in, encodage_out) :
 139         files = []
 140         for root, subfolders, subfiles in os.walk(txtdir) :
 141             nf = [os.path.join(root, f) for f in subfiles if f.split('.')[-1] in ['html', 'HTML'] ]
 142             nf.sort()
 143             files += nf
 144         if len(files) == 0 :
 145             return 'nofile'
 146         tot = 0
 147         parser = MyHTMLParser()
 148         with open(fileout,'w') as outf :
 149             for f in files :
 150                 print f
 151                 parser.doinit(outf)
 152                 with codecs.open(f, 'rU', encodage_in) as infile :
 153                     content = infile.read()
 154                     content = HTMLParser().unescape(content)
 155                 parser.feed(content)
 156                 tot += parser.nb
 157         return tot
 158
 159 #ParseEuropress('/home/pierre/fac/etudiant/DeNadai/corpus_loi_travail',
 160 #               '/home/pierre/fac/etudiant/DeNadai/corpus_loi_W.txt', 'utf8', 'utf8')