translation
[iramuteq] / functions.py
index e575359..6373176 100644 (file)
@@ -2,7 +2,7 @@
 # -*- coding: utf-8 -*-
 #Author: Pierre Ratinaud
 #Copyright (c) 2008-2012 Pierre Ratinaud
-#Lisense: GNU/GPL
+#License: GNU/GPL
 
 import wx
 import re
@@ -30,12 +30,64 @@ log = logging.getLogger('iramuteq')
 indices_simi = [u'cooccurrence' ,'pourcentage de cooccurrence',u'Russel',u'Jaccard', 'Kulczynski1', 'Kulczynski2', 'Mountford', 'Fager', 'simple matching', 'Hamman', 'Faith', 'Tanimoto', 'Dice', 'Phi', 'Stiles', 'Michael', 'Mozley', 'Yule', 'Yule2', 'Ochiai', 'Simpson', 'Braun-Blanquet','Chi-squared', 'Phi-squared', 'Tschuprow', 'Cramer', 'Pearson', 'binomial']
 
 
+def normpath_win32(path) :
+    if not sys.platform == 'win32' :
+        return path
+    while '\\\\' in path :
+        path = path.replace('\\\\', '\\')
+    if path.startswith('\\') and not path.startswith('\\\\') :
+        path = '\\' + path
+    return path
+
+class TGen :
+    def __init__(self, path = None, encoding = 'utf8'):
+        self.path = path
+        self.tgen = {}
+        self.encoding = encoding
+    
+    def __getitem__(self, key):
+        return self.tgen[key]
+    
+    def read(self, path = None):
+        if path is None :
+            path = self.path
+        with codecs.open(path, 'r', self.encoding) as f :
+            tgen = f.read()
+        tgen = [line.split('\t') for line in tgen.splitlines()]
+        tgen = dict([[line[0], line[1:]] for line in tgen])
+        self.tgen = tgen
+        self.path = path
+    
+    def write(self, path = None):
+        if path is None :
+            path = self.path
+        with open(path, 'w') as f :
+            f.write('\n'.join(['\t'.join([val] + self.tgen[val]) for val in self.tgen]).encode(self.encoding))
+    
+    def writetable(self, pathout, tgens, totocc):
+        etoiles = totocc.keys()
+        etoiles.sort()
+        with open(pathout, 'w') as f :
+            line = '\t'.join([u'tgens'] + etoiles) + '\n'
+            f.write(line.encode(self.encoding))
+            for t in tgens :
+                line = '\t'.join([t] + [`tgens[t][et]` for et in etoiles]) + '\n'
+                f.write(line.encode(self.encoding))
+            i = 0
+            totname = 'total'
+            while totname + `i` in tgens :
+                i += 1
+            totname = totname + `i`
+            line = '\t'.join([totname] + [`totocc[et]` for et in etoiles]) + '\n'
+            f.write(line.encode(self.encoding))
+
 class History :
     def __init__(self, filein, syscoding = 'utf8') :
         self.filein = filein
         self.syscoding = syscoding
-        self.corpora = {}
+        self.corpus = {}
         self.openedcorpus = {}
+        self.openedmatrix = {}
         self.orph = []
         self.analyses = {}
         self.history = []
@@ -45,105 +97,90 @@ class History :
     def read(self) :
         d = shelve.open(self.filein)
         self.history = d.get('history', [])
+        self.matrix = d.get('matrix', [])
         self.ordercorpus = dict([[corpus['uuid'], i] for i, corpus in enumerate(self.history)])
-        self.corpus = dict([[corpus['uuid'], corpus] for i, corpus in enumerate(self.history)])
+        self.corpus = dict([[corpus['uuid'], corpus] for corpus in self.history])
         self.analyses = dict([[analyse['uuid'], analyse] for corpus in self.history for analyse in corpus.get('analyses', [])])
-        #corpusorder = d.get('corpusorder',[])
-        #self.analyseorder = d['analyseorder']
-        #self.order = [uuid for uuid in self.history]
-        #self.order = dict([[i, uuid] for i, uuid in enumerate(self.order)])
-        #self.order = dict([[i, corpus] for i, corpus in enumerate(corpusorder)])
-        #for uuid in self.history :
-        #    if 'corpus_name' in self.history[uuid] :
-        #        self.corpora[uuid] = self.history[uuid]
+        self.matrixanalyse = dict([[mat['uuid'], mat] for mat in self.matrix])
+        self.ordermatrix = dict([[matrix['uuid'], i] for i, matrix in enumerate(self.matrix)])
         d.close()
 
-#    def read(self) :
-#        self.conf = DoConf(self.filein)
-#        self.order = {}
-#        self.ordera = {}
-#        for i, section in enumerate(self.conf.conf.sections()) :
-#            if self.conf.conf.has_option(section, 'corpus_name') :
-#                self.corpora[section] = self.conf.getoptions(section)
-#                self.order[len(self.order)] = section
-#            else :
-#                self.analyses[section] = self.conf.getoptions(section)
-#                self.ordera[len(self.ordera)] = section
-#        todel = []
-#        for corpus in self.corpora :
-#            self.history[corpus] = copy(self.corpora[corpus])
-#        for analyse in self.analyses :
-#            if self.analyses[analyse]['corpus'] in self.corpora :
-#                if 'analyses' in self.history[self.analyses[analyse]['corpus']] :
-#                    self.history[self.analyses[analyse]['corpus']]['analyses'].append(self.analyses[analyse])
-#                    todel.append(analyse)
-#                else :
-#                    self.history[self.analyses[analyse]['corpus']]['analyses'] = [self.analyses[analyse]]
-#                    todel.append(analyse)
-#            else :
-#                 self.history[analyse] = self.analyses[analyse]
-#        #for analyse in todel :
-#        #    del self.analyses[analyse]
     def write(self) :
         d = shelve.open(self.filein)
         d['history'] = self.history
-        #order = [i for i in self.order]
-        #order.sort()
-        #d['corpusorder'] = [self.order[i] for i in order]
+        d['matrix'] = self.matrix
         d.close()
-
     
-#    def write(self) :
-#        sections = self.corpora.keys() + self.analyses.keys()
-#        parametres = [self.corpora[key] for key in self.corpora.keys()] + [self.analyses[key] for key in self.analyses.keys()]
-#        self.conf.makeoptions(sections, parametres)
-#        log.info('write history')
-#
     def add(self, analyse) :
         log.info('add to history %s' % analyse.get('corpus_name', 'pas un corpus'))
         tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
+        if tosave['uuid'] in self.corpus :
+            log.info('problem : this uuid is already in history : %s' % tosave['uuid'])
+            return
         if analyse.get('corpus', False) :
             if analyse['uuid'] in self.analyses :
                 return
             tosave['corpus'] = analyse['corpus']
             tosave['name'] = analyse['name']
             acorpus_uuid =  analyse['corpus']
-            if acorpus_uuid in self.ordercorpus :
+            if acorpus_uuid in self.corpus :
                 if 'analyses' in self.history[self.ordercorpus[acorpus_uuid]] :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'].append(tosave)
                 else :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'] = [tosave]
-                #self.analyses[analyse['uuid']] = tosave
             else :
                 self.orph.append(tosave)
-                #self.order[len(self.order)] = analyse['uuid']
-                #self.analyses[analyse['uuid']] = tosave
         else :
             tosave['corpus_name'] = analyse['corpus_name']
+            #self.ordercorpus[tosave['uuid']] = len(history)
+            #self.corpus[tosave['uuid']] = analyse
             self.history.append(tosave)
-            #self.order[len(self.order)] = analyse['uuid']
-            #self.corpora[analyse['uuid']] = tosave
+        self.write()
+        self.read()
+
+    def addMatrix(self, analyse) :
+        tosave = analyse
+        #tosave['matrix_name'] = analyse['matrix_name']
+        tosave['analyses'] = []
+        self.matrix.append(tosave)
+        self.write()
+        self.read()
+
+    def addMatrixAnalyse(self, analyse) :
+        tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type'], 'matrix' : analyse['matrix']}
+        tosave['name'] = analyse['name']
+        if tosave['matrix'] in self.ordermatrix :
+            self.matrix[self.ordermatrix[tosave['matrix']]]['analyses'].append(tosave)
+        self.write()
+        self.read()
+                
+    def addmultiple(self, analyses) :
+        log.info('add multiple')
+        for analyse in analyses :
+            tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
+            corpus = analyse['corpus']
+            tosave['corpus'] = corpus
+            tosave['name'] = analyse['name']
+            if corpus in self.corpus :
+                if 'analyses' in self.history[self.ordercorpus[corpus]] :
+                    self.history[self.ordercorpus[corpus]]['analyses'].append(tosave)
+                else :
+                    self.history[self.ordercorpus[corpus]]['analyses'] = [tosave]
         self.write()
         self.read()
 
     def delete(self, analyse, corpus = False) :
+        log.info('delete %s' % analyse.get('name', 'noname'))
         if corpus :
-            #del self.history[uuid]
             self.history.pop(self.ordercorpus[analyse['uuid']])
-            #todel = [i for i in self.order if self.order[i] == uuid]
-            #del self.order[todel[0]]
-            #del self.corpora[uuid]
-            #del self.corpora[uuid]
-            #self.conf.conf.remove_section(uuid)
-            #for analyse in self.history[uuid].get('analyses', [False]) :
-            #    if analyse :
-            #        del self.analyses[analyse['uuid']]
-            #        self.conf.conf.remove_section(analyse['uuid'])
-        else :
+            if analyse['uuid'] in self.openedcorpus :
+                del self.openedcorpus[analyse['uuid']]
+            log.info('delete corpus : %s' % analyse['uuid'])
+        elif analyse['uuid'] in self.analyses :
             todel = [i for i, ana in enumerate(self.corpus[analyse['corpus']]['analyses']) if ana['uuid'] == analyse['uuid']][0]
             self.history[self.ordercorpus[analyse['corpus']]]['analyses'].pop(todel)
-            #del self.analyses[uuid]
-            #self.conf.conf.remove_section(uuid)
+        elif analyse['uuid'] in self.matrixanalyse :
+            self.matrix = [mat for mat in self.matrix if mat['uuid'] != analyse['uuid']]
         self.write()
         self.read()
 
@@ -153,6 +190,30 @@ class History :
     def rmtab(self, analyse) :
         del self.opened[analyse['uuid']]
     
+    def update(self, analyse) :
+        if 'matrix_name' in analyse :
+            self.matrixanalyse[analyse['uuid']].update(analyse)
+        elif 'corpus_name' in analyse :
+            self.corpus[analyse['uuid']].update(analyse)
+        elif 'corpus' in analyse :
+            self.analyses[analyse['uuid']].update(analyse)
+        else :
+            toupdate = [an for an in self.matrixanalyse[analyse['matrix']]['analyses'] if an['uuid'] == analyse['uuid']]
+            toupdate[0].update(analyse)
+        self.write()
+        self.read()
+
+    def clean(self) :
+        corpustodel = [corpus for corpus in self.history if not os.path.exists(corpus['ira'])]
+        print corpustodel
+        for corpus in corpustodel :
+            print 'cleaning :', corpus['corpus_name']
+            self.delete(corpus, corpus = True)
+        anatodel = [analyse for corpus in self.history for analyse in corpus.get('analyses', []) if not os.path.exists(analyse.get('ira', '/'))]
+        for analyse in anatodel :
+            print 'cleaning :', analyse['name']
+            self.delete(analyse)
+    
     def __str__(self) :
         return str(self.history)
 
@@ -160,7 +221,9 @@ class DoConf :
     def __init__(self, configfile=None, diff = None, parametres = None) :
         self.configfile = configfile
         self.conf = ConfigParser()
+        
         if configfile is not None :
+            configfile = normpath_win32(configfile)
             self.conf.readfp(codecs.open(configfile, 'r', 'utf8'))
         self.parametres = {}
         if parametres is not None :
@@ -216,8 +279,9 @@ class DoConf :
                     txt += '%s = %s\n' % (option, `parametres[i][option]`)
         if outfile is None :
             outfile = self.configfile
-        with codecs.open(outfile, 'w', 'utf8') as f :
-            f.write(txt)
+        outfile = normpath_win32(outfile)
+        with open(outfile, 'w') as f :
+            f.write(txt.encode('utf8'))
             #self.conf.write(f)
 
     def totext(self, parametres) :
@@ -226,8 +290,12 @@ class DoConf :
         for val in parametres :
             if isinstance(parametres[val], int) :
                 txt.append(' \t\t: '.join([val, `parametres[val]`]))
-            else :
+            elif isinstance(parametres[val], basestring) :
                 txt.append(' \t\t: '.join([val, parametres[val]]))
+            elif val in ['listet', 'stars'] :
+                pass
+            else :
+                txt.append(' \t\t: '.join([val, `parametres[val]`]))
         return '\n'.join(txt)
 
 
@@ -241,7 +309,9 @@ class BugDialog(wx.Dialog):
         kwds["style"] = wx.DEFAULT_DIALOG_STYLE
         kwds["size"] = wx.Size(500, 200)
         wx.Dialog.__init__(self, *args, **kwds)
+        self.SetTitle(kwds['title'])
         self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
+        self.text_ctrl_1.SetBackgroundColour('#DDE8EB')
         self.button_1 = wx.Button(self, wx.ID_OK, "")
 
         self.__set_properties()
@@ -250,7 +320,6 @@ class BugDialog(wx.Dialog):
 
     def __set_properties(self):
         # begin wxGlade: MyDialog.__set_properties
-        self.SetTitle("Bug")
         self.SetMinSize(wx.Size(500, 200))
         self.text_ctrl_1.SetMinSize(wx.Size(500, 200))
         
@@ -321,23 +390,16 @@ def treat_line_alceste(i, line) :
         line[5] = str(float(line[5].replace(',', '.')))[0:7]
     return [i, int(line[0]), int(line[1]), float(line[2]), float(line[3]), line[6], line[4], line[5]]
 
-def ReadProfileAsDico(parent, File, Alceste=False, encoding = sys.getdefaultencoding()):
-    #print 'lecture des profils : ReadProfileAsDico'
-    #if Alceste :
-    #    print 'lecture du dictionnaire de type'
-    #    dictlem = {}
-    #    for line in parent.corpus.lem_type_list :
-    #        dictlem[line[0]] = line[1]
+def ReadProfileAsDico(File, Alceste=False, encoding = sys.getdefaultencoding()):
     dictlem = {}
     print 'lecture des profiles'
-    #encoding = sys.getdefaultencoding()
-    print encoding
     FileReader = codecs.open(File, 'r', encoding)
     Filecontent = FileReader.readlines()
     FileReader.close()
     DictProfile = {}
     count = 0
-    rows = [row.replace('\n', '').replace("'", '').replace('\"', '').replace(',', '.').replace('\r','').split(';') for row in Filecontent]
+    #rows = [row.replace('\n', '').replace("'", '').replace('\"', '').replace(',', '.').replace('\r','').split(';') for row in Filecontent]
+    rows = [row.replace('\n', '').replace("'", '').replace('\"', '').replace('\r','').split(';') for row in Filecontent]
     rows.pop(0)
     ClusterNb = rows[0][2]
     rows.pop(0)
@@ -355,23 +417,26 @@ def ReadProfileAsDico(parent, File, Alceste=False, encoding = sys.getdefaultenco
         DictProfile[cluster] = [valclusters[i]] + prof[i]
     return DictProfile
 
-def GetTxtProfile(dictprofile) :
+def GetTxtProfile(dictprofile, cluster_size) :
     proflist = []
     for classe in range(0, len(dictprofile)) :
         prof = dictprofile[str(classe + 1)]
-        clinfo = prof[0]
+        clinfo = cluster_size[classe]
         proflist.append('\n'.join([' '.join(['classe %i' % (classe + 1), '-', '%s uce sur %s - %s%%' % (clinfo[0], clinfo[1], clinfo[2])]), '\n'.join(['%5s|%5s|%6s|%6s|%8s|%8s|%20s\t%10s' % tuple([str(val) for val in line]) for line in prof if len(line)==8])]))
     return '\n\n'.join(proflist)
 
 def formatExceptionInfo(maxTBlevel=5):
-         cla, exc, trbk = sys.exc_info()
-         excName = cla.__name__
-         try:
-             excArgs = exc.args[0]
-         except :
-             excArgs = "<no args>"
-         excTb = traceback.format_tb(trbk, maxTBlevel)
-         return (excName, excArgs, excTb)
+    cla, exc, trbk = sys.exc_info()
+    try :
+        excName = cla.__name__
+    except :
+        excName = 'None'
+    try:
+        excArgs = exc.args[0]
+    except :
+        excArgs = "<no args>"
+    excTb = traceback.format_tb(trbk, maxTBlevel)
+    return (excName, excArgs, excTb)
 
 
 #fonction des etudiants de l'iut
@@ -431,38 +496,50 @@ def decoupercharact(chaine, longueur, longueurOptimale, separateurs = None) :
     # si on a rien trouvé
     return False, chaine.split(), ''
 
+
+exceptions = {'paragrapheOT' : u"Un problème de formatage (présence d'un marqueur de paragraphe (-*) en dehors d'un texte) est survenu à la ligne ",
+              'EmptyText' : u"Texte vide (probablement un problème de formatage du corpus). Le problème est apparu à la ligne ",
+              'CorpusEncoding' : u"Problème d'encodage.",
+              'TextBeforeTextMark' : u"Problème de formatage : du texte avant le premier marqueur de texte (****). Le problème est survenu à la ligne ",
+              'MissingAnalyse' : u'Aucun fichier à cet emplacement :\n', 
+}
+
 def BugReport(parent, error = None):
     for ch in parent.GetChildren():
         if "<class 'wx._windows.ProgressDialog'>" == str(type(ch)):
             ch.Destroy()   
     excName, exc, excTb = formatExceptionInfo()
     if excName == 'Exception' :
-        txt = 'Message :\n'
+        print exc
+        if len(exc.split()) == 2 :
+            mss, linenb = exc.split()
+            if mss in exceptions :
+                txt = exceptions[mss] + linenb
+            else :
+                txt = exc
+        else :
+            if exc in exceptions :
+                txt = exceptions[exc]
+            else :
+                txt = exc
+        title = "Information"
     else :
         txt = u'            !== BUG ==!       \n'
         txt += u'*************************************\n'
         txt += '\n'.join(excTb).replace('    ', ' ')
         txt += excName + '\n'
-    txt += exc
-
-    dial = BugDialog(parent)
-    #for line in formatExceptionInfo():
-    #    if type(line) == type([]):
-    #        for don in line:
-    #            txt += don.replace('    ', ' ')
-    #    else:
-    #        txt += line + '\n'
+        txt += `exc`
+        title = "Bug"
+
+    dial = BugDialog(parent, **{'title' : title})
     if 'Rerror' in dir(parent) :
         txt += parent.Rerror
         parent.Rerror = ''
-    #if error is not None :
-    #    txt += '\n%s\n' %error
-    print formatExceptionInfo()
-    log.error(txt)
+    log.info(txt)
     dial.text_ctrl_1.write(txt)
     dial.CenterOnParent()
     dial.ShowModal()
-    #raise Exception('Bug')
+    dial.Destroy()
     
 def PlaySound(parent):
     if parent.pref.getboolean('iramuteq', 'sound') :
@@ -478,31 +555,36 @@ def PlaySound(parent):
 def ReadDicoAsDico(dicopath):
     with codecs.open(dicopath, 'r', 'UTF8') as f:
         content = f.readlines()
-    dico = {}
-    for line in content :
-        if line[0] != u'':
-            line = line.replace(u'\n', '').replace('"', '').split('\t')
-            dico[line[0]] = line[1:]
-    return dico
-
-def ReadLexique(parent, lang = 'french'):
+    lines = [line.rstrip('\n\r').replace(u'\n', '').replace('"', '').split('\t') for line in content if line != u'']
+    return dict([[line[0], line[1:]] for line in lines])
+
+def ReadLexique(parent, lang = 'french', filein = None):
     if lang != 'other' :
-        parent.lexique = ReadDicoAsDico(parent.DictPath.get(lang, 'french'))
+        if filein is None :
+            parent.lexique = ReadDicoAsDico(parent.DictPath.get(lang, 'french'))
+        else :
+            parent.lexique = ReadDicoAsDico(filein)
     else :
-        parent.lexique = {}
+        if filein is None :
+            parent.lexique = {}
+        else :
+            parent.lexique = ReadDicoAsDico(filein)
 
-def ReadList(filein, encoding = sys.getdefaultencoding()):
+def ReadList(filein, encoding = sys.getdefaultencoding(), sep = ';'):
     #file = open(filein)
-    file = codecs.open(filein, 'r', encoding)
-    content = file.readlines()
-    file.close()
+    with codecs.open(filein, 'r', encoding) as f :
+        content = f.read()
+    content = [line.replace('\n', '').replace('\r','').replace('\"', '').replace(',', '.').split(sep) for line in content.splitlines()]
+    #file = codecs.open(filein, 'r', encoding)
+    #content = file.readlines()
+    #file.close()
     first = content.pop(0)
-    first = first.replace('\n', '').replace('\r','').replace('\"', '').split(';')
+    #first = first.replace('\n', '').replace('\r','').replace('\"', '').split(sep)
     dict = {}
     i = 0
     for line in content:
-        line = line.replace('\n', '').replace('\r','').replace('\"', '').replace(',', '.')
-        line = line.split(';')
+        #line = line.replace('\n', '').replace('\r','').replace('\"', '').replace(',', '.')
+        #line = line.split(';')
         nline = [line[0]]
         for val in line[1:]:
             if val == u'NA' :
@@ -517,13 +599,18 @@ def ReadList(filein, encoding = sys.getdefaultencoding()):
         i += 1
     return dict, first
 
+def exec_RCMD(rpath, command) :
+    log.info('R CMD INSTALL %s' % command)
+    rpath = rpath.replace('\\','\\\\')
+    error = call(["%s" % rpath, 'CMD', 'INSTALL', "%s" % command])
+    return error
+
 def exec_rcode(rpath, rcode, wait = True, graph = False):
-    print rpath, rcode
+    log.info("R Script : %s" % rcode)
     needX11 = False
     if sys.platform == 'darwin' :
         try :
             macversion = platform.mac_ver()[0].split('.')
-            print macversion
             if int(macversion[1]) < 5 :
                 needX11 = True
             else :
@@ -532,18 +619,21 @@ def exec_rcode(rpath, rcode, wait = True, graph = False):
             needX11 = False
 
     rpath = rpath.replace('\\','\\\\')
+    env = os.environ.copy()
+    if sys.platform == 'darwin' and 'LC_ALL' not in env:
+        env['LC_ALL'] = 'en_US.UTF-8'
     if not graph :
         if wait :
             if sys.platform == 'win32':
                 error = call(["%s" % rpath, "--vanilla","--slave","-f", "%s" % rcode])
             else :
-                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode])
+                error = call([rpath, '--slave', "--vanilla", "-f %s" % rcode, "--encoding=UTF-8"], env = env)
             return error
         else :
             if sys.platform == 'win32':
                 pid = Popen(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             else :
-                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode], stderr = PIPE)
+                pid = Popen([rpath, '--slave', "--vanilla", "-f %s" % rcode, "--encoding=UTF-8"], stderr = PIPE, env = env)
             return pid
     else :
         if wait :
@@ -551,18 +641,18 @@ def exec_rcode(rpath, rcode, wait = True, graph = False):
                 error = call(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             elif sys.platform == 'darwin' and needX11:
                 os.environ['DISPLAY'] = ':0.0'
-                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode])
+                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], env = env)
             else :
-                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode])
+                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], env = env)
             return error
         else :
             if sys.platform == 'win32':
                 pid = Popen(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             elif sys.platform == 'darwin' and needX11:
                 os.environ['DISPLAY'] = ':0.0'
-                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode], stderr = PIPE)
+                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], stderr = PIPE, env = env)
             else :
-                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode], stderr = PIPE)
+                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], stderr = PIPE, env = env)
             return pid
 
 def check_Rresult(parent, pid) :
@@ -574,15 +664,21 @@ def check_Rresult(parent, pid) :
                 error[1] = 'None'
             parent.Rerror = '\n'.join([str(pid.returncode), '\n'.join(error)])
             try :
-                raise Exception('\n'.join(u'Erreur R', '\n'.join(error[1:])))
+                raise Exception('\n'.join([u'Erreur R', '\n'.join(error[1:])]))
             except :
                 BugReport(parent)
+            return False
+        else :
+            return True
     else :
         if pid != 0 :
             try :
                 raise Exception(u'Erreur R')
             except :
                 BugReport(parent)
+            return False
+        else :
+            return True
 
 def print_liste(filename,liste):
     with open(filename,'w') as f :
@@ -595,59 +691,7 @@ def read_list_file(filename, encoding = sys.getdefaultencoding()):
         ncontent=[line.replace('\n','').split(';') for line in content if line.strip() != '']
     return ncontent
         
-class MessageImage(wx.Frame):
-    def __init__(self, *args, **kwds):
-        # begin wxGlade: MyFrame.__init__
-        kwds["style"] = wx.DEFAULT_FRAME_STYLE
-        wx.Frame.__init__(self, *args, **kwds)
-        #self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
-        self.imageFile = False
-        self.imagename = u"chi_classe.png"
-        self.HtmlPage = wx.html.HtmlWindow(self, -1)
-        if "gtk2" in wx.PlatformInfo:
-            self.HtmlPage.SetStandardFonts()
-        self.HtmlPage.SetFonts('Courier', 'Courier')
-        
-        self.button_1 = wx.Button(self, -1, u"Fermer")
-        self.Bind(wx.EVT_BUTTON, self.OnCloseMe, self.button_1)
-        self.Bind(wx.EVT_CLOSE, self.OnCloseWindow)
-        self.__do_layout()
-        # end wxGlade
 
-    def __do_layout(self):
-        # begin wxGlade: MyFrame.__do_layout
-        sizer_1 = wx.BoxSizer(wx.VERTICAL)
-        self.sizer_2 = wx.BoxSizer(wx.VERTICAL)
-        self.sizer_2.Add(self.HtmlPage, 1, wx.EXPAND | wx.ADJUST_MINSIZE, 0)
-        self.sizer_2.Add(self.button_1, 0, wx.ALIGN_CENTER_HORIZONTAL | wx.ADJUST_MINSIZE, 0)
-        sizer_1.Add(self.sizer_2, 1, wx.EXPAND, 0)
-        self.SetAutoLayout(True)
-        self.SetSizer(sizer_1)
-        # end wxGlade
-
-    def addsaveimage(self, imageFile) :
-        self.imageFile = imageFile
-        self.button_2 = wx.Button(self, -1, u"Enregistrer l'image...")
-        self.Bind(wx.EVT_BUTTON, self.OnSaveImage, self.button_2)
-        self.sizer_2.Add(self.button_2, 0, wx.ALIGN_CENTER_HORIZONTAL | wx.ADJUST_MINSIZE, 0)
-        self.Layout()
-
-    def OnCloseMe(self, event):
-        self.Close(True)
-
-    def OnCloseWindow(self, event):
-        self.Destroy()
-
-    def OnSaveImage(self, event) :
-        dlg = wx.FileDialog(
-            self, message="Enregistrer sous...", defaultDir=os.getcwd(),
-            defaultFile= self.imagename, wildcard="png|*.png", style=wx.SAVE | wx.OVERWRITE_PROMPT
-            )
-        dlg.SetFilterIndex(2)
-        dlg.CenterOnParent()
-        if dlg.ShowModal() == wx.ID_OK:
-            path = dlg.GetPath()
-            copyfile(self.imageFile, path)
             
 
 def progressbar(self, maxi) :
@@ -655,6 +699,10 @@ def progressbar(self, maxi) :
         parent = self.parent
     else :
         parent = self
+    try :
+        maxi = int(maxi)
+    except :
+        maxi = 1
     return wx.ProgressDialog("Traitements",
                              "Veuillez patienter...",
                              maximum=maxi,
@@ -665,14 +713,49 @@ def progressbar(self, maxi) :
 
 def treat_var_mod(variables) :
     var_mod = {}
-    for variable in variables :
-        if u'_' in variable :
-            forme = variable.split(u'_')
-            var = forme[0]
-            mod = forme[1]
-            if not var in var_mod :
-                var_mod[var] = [variable]
-            else :
-                if not mod in var_mod[var] :
-                    var_mod[var].append(variable)
+    variables = list(set(variables))
+    varmod = [variable.split('_') for variable in variables]
+    vars = list(set([var[0] for var in varmod if len(var) >=2]))
+    for var in vars :
+        mods = ['_'.join(v) for v in varmod if v[0] == var]
+        var_mod[var] = mods
+    
+#     for variable in variables :
+#         if u'_' in variable :
+#             forme = variable.split(u'_')
+#             var = forme[0]
+#             mod = forme[1]
+#             if not var in var_mod :
+#                 var_mod[var] = [variable]
+#             else :
+#                 if not mod in var_mod[var] :
+#                     var_mod[var].append(variable)
     return var_mod
+
+def doconcorde(corpus, uces, mots, uci = False) :
+    if not uci :
+        ucestxt1 = [row for row in corpus.getconcorde(uces)]
+    else :
+        ucestxt1 = [row for row in corpus.getuciconcorde(uces)]
+    ucestxt1 = dict(ucestxt1)
+    ucestxt = []
+    ucis_txt = []
+    listmot = [corpus.getlems()[lem].formes for lem in mots]
+    listmot = [corpus.getforme(fid).forme for lem in listmot for fid in lem]
+    mothtml = ['<font color=red><b>%s</b></font>' % mot for mot in listmot]
+    dmots = dict(zip(listmot, mothtml))
+    for uce in uces :
+        ucetxt = ucestxt1[uce].split()
+        ucetxt = ' '.join([dmots.get(mot, mot) for mot in ucetxt])
+        if not uci :
+            ucis_txt.append('<p><b>' + ' '.join(corpus.ucis[corpus.getucefromid(uce).uci].etoiles) + '</b></p>')
+        else :
+            ucis_txt.append('<p><b>' + ' '.join(corpus.ucis[uce].etoiles) + '</b></p>')
+        ucestxt.append(ucetxt)
+    return ucis_txt, ucestxt
+
+def getallstcarac(corpus, analyse) :
+   pathout = PathOut(analyse['ira'])
+   profils =  ReadProfileAsDico(pathout['PROFILE_OUT'], Alceste, self.encoding)
+   print profils