french dictionary
[iramuteq] / functions.py
index aee5d9b..4c15bbc 100644 (file)
@@ -45,14 +45,17 @@ class History :
     def read(self) :
         d = shelve.open(self.filein)
         self.history = d.get('history', [])
     def read(self) :
         d = shelve.open(self.filein)
         self.history = d.get('history', [])
+        self.matrix = d.get('matrix', [])
         self.ordercorpus = dict([[corpus['uuid'], i] for i, corpus in enumerate(self.history)])
         self.ordercorpus = dict([[corpus['uuid'], i] for i, corpus in enumerate(self.history)])
-        self.corpus = dict([[corpus['uuid'], corpus] for i, corpus in enumerate(self.history)])
+        self.corpus = dict([[corpus['uuid'], corpus] for corpus in self.history])
         self.analyses = dict([[analyse['uuid'], analyse] for corpus in self.history for analyse in corpus.get('analyses', [])])
         self.analyses = dict([[analyse['uuid'], analyse] for corpus in self.history for analyse in corpus.get('analyses', [])])
+        self.matrixanalyse = dict([[mat['uuid'], mat] for mat in self.matrix])
         d.close()
 
     def write(self) :
         d = shelve.open(self.filein)
         d['history'] = self.history
         d.close()
 
     def write(self) :
         d = shelve.open(self.filein)
         d['history'] = self.history
+        d['matrix'] = self.matrix
         d.close()
     
     def add(self, analyse) :
         d.close()
     
     def add(self, analyse) :
@@ -64,7 +67,7 @@ class History :
             tosave['corpus'] = analyse['corpus']
             tosave['name'] = analyse['name']
             acorpus_uuid =  analyse['corpus']
             tosave['corpus'] = analyse['corpus']
             tosave['name'] = analyse['name']
             acorpus_uuid =  analyse['corpus']
-            if acorpus_uuid in self.ordercorpus :
+            if acorpus_uuid in self.corpus :
                 if 'analyses' in self.history[self.ordercorpus[acorpus_uuid]] :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'].append(tosave)
                 else :
                 if 'analyses' in self.history[self.ordercorpus[acorpus_uuid]] :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'].append(tosave)
                 else :
@@ -77,12 +80,39 @@ class History :
         self.write()
         self.read()
 
         self.write()
         self.read()
 
+    def addMatrix(self, analyse) :
+        tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
+        tosave['name'] = analyse['name']
+        self.matrix.append(tosave)
+        self.write()
+        self.read()
+
+    def addmultiple(self, analyses) :
+        log.info('add multiple')
+        for analyse in analyses :
+            tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
+            corpus = analyse['corpus']
+            tosave['corpus'] = corpus
+            tosave['name'] = analyse['name']
+            if corpus in self.corpus :
+                if 'analyses' in self.history[self.ordercorpus[corpus]] :
+                    self.history[self.ordercorpus[corpus]]['analyses'].append(tosave)
+                else :
+                    self.history[self.ordercorpus[corpus]]['analyses'] = [tosave]
+        self.write()
+        self.read()
+
     def delete(self, analyse, corpus = False) :
     def delete(self, analyse, corpus = False) :
+        log.info('delete %s' % analyse.get('name', 'noname'))
         if corpus :
             self.history.pop(self.ordercorpus[analyse['uuid']])
         if corpus :
             self.history.pop(self.ordercorpus[analyse['uuid']])
-        else :
+            if analyse['uuid'] in self.openedcorpus :
+                del self.openedcorpus[analyse['uuid']]
+        elif analyse['uuid'] in self.analyses :
             todel = [i for i, ana in enumerate(self.corpus[analyse['corpus']]['analyses']) if ana['uuid'] == analyse['uuid']][0]
             self.history[self.ordercorpus[analyse['corpus']]]['analyses'].pop(todel)
             todel = [i for i, ana in enumerate(self.corpus[analyse['corpus']]['analyses']) if ana['uuid'] == analyse['uuid']][0]
             self.history[self.ordercorpus[analyse['corpus']]]['analyses'].pop(todel)
+        elif analyse['uuid'] in self.matrixanalyse :
+            self.matrix = [mat for mat in self.matrix if mat['uuid'] != analyse['uuid']]
         self.write()
         self.read()
 
         self.write()
         self.read()
 
@@ -184,7 +214,9 @@ class BugDialog(wx.Dialog):
         kwds["style"] = wx.DEFAULT_DIALOG_STYLE
         kwds["size"] = wx.Size(500, 200)
         wx.Dialog.__init__(self, *args, **kwds)
         kwds["style"] = wx.DEFAULT_DIALOG_STYLE
         kwds["size"] = wx.Size(500, 200)
         wx.Dialog.__init__(self, *args, **kwds)
+        self.SetTitle(kwds['title'])
         self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
         self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
+        self.text_ctrl_1.SetBackgroundColour('#DDE8EB')
         self.button_1 = wx.Button(self, wx.ID_OK, "")
 
         self.__set_properties()
         self.button_1 = wx.Button(self, wx.ID_OK, "")
 
         self.__set_properties()
@@ -193,7 +225,6 @@ class BugDialog(wx.Dialog):
 
     def __set_properties(self):
         # begin wxGlade: MyDialog.__set_properties
 
     def __set_properties(self):
         # begin wxGlade: MyDialog.__set_properties
-        self.SetTitle("Bug")
         self.SetMinSize(wx.Size(500, 200))
         self.text_ctrl_1.SetMinSize(wx.Size(500, 200))
         
         self.SetMinSize(wx.Size(500, 200))
         self.text_ctrl_1.SetMinSize(wx.Size(500, 200))
         
@@ -307,7 +338,10 @@ def GetTxtProfile(dictprofile, cluster_size) :
 
 def formatExceptionInfo(maxTBlevel=5):
          cla, exc, trbk = sys.exc_info()
 
 def formatExceptionInfo(maxTBlevel=5):
          cla, exc, trbk = sys.exc_info()
-         excName = cla.__name__
+         try :
+            excName = cla.__name__
+         except :
+            excName = 'None'
          try:
              excArgs = exc.args[0]
          except :
          try:
              excArgs = exc.args[0]
          except :
@@ -373,38 +407,49 @@ def decoupercharact(chaine, longueur, longueurOptimale, separateurs = None) :
     # si on a rien trouvé
     return False, chaine.split(), ''
 
     # si on a rien trouvé
     return False, chaine.split(), ''
 
+
+exceptions = {'paragrapheOT' : u"Un problème de formatage (présence d'un marqueur de paragraphe (-*) en dehors d'un texte) est survenu à la ligne ",
+              'EmptyText' : u"Texte vide (probablement un problème de formatage du corpus). Le problème est apparu à la ligne ",
+              'CorpusEncoding' : u"Problème d'encodage.",
+              'TextBeforeTextMark' : u"Problème de formatage : du texte avant le premier marqueur de texte (****). Le problème est survenu à la ligne ",
+}
+
 def BugReport(parent, error = None):
     for ch in parent.GetChildren():
         if "<class 'wx._windows.ProgressDialog'>" == str(type(ch)):
             ch.Destroy()   
     excName, exc, excTb = formatExceptionInfo()
     if excName == 'Exception' :
 def BugReport(parent, error = None):
     for ch in parent.GetChildren():
         if "<class 'wx._windows.ProgressDialog'>" == str(type(ch)):
             ch.Destroy()   
     excName, exc, excTb = formatExceptionInfo()
     if excName == 'Exception' :
-        txt = 'Message :\n'
+        print exc
+        if len(exc.split()) == 2 :
+            mss, linenb = exc.split()
+            if mss in exceptions :
+                txt = exceptions[mss] + linenb
+            else :
+                txt = exc
+        else :
+            if exc in exceptions :
+                txt = exceptions[exc]
+            else :
+                txt = exc
+        title = "Information"
     else :
         txt = u'            !== BUG ==!       \n'
         txt += u'*************************************\n'
         txt += '\n'.join(excTb).replace('    ', ' ')
         txt += excName + '\n'
     else :
         txt = u'            !== BUG ==!       \n'
         txt += u'*************************************\n'
         txt += '\n'.join(excTb).replace('    ', ' ')
         txt += excName + '\n'
-    txt += exc
-
-    dial = BugDialog(parent)
-    #for line in formatExceptionInfo():
-    #    if type(line) == type([]):
-    #        for don in line:
-    #            txt += don.replace('    ', ' ')
-    #    else:
-    #        txt += line + '\n'
+        txt += exc
+        title = "Bug"
+
+    dial = BugDialog(parent, **{'title' : title})
     if 'Rerror' in dir(parent) :
         txt += parent.Rerror
         parent.Rerror = ''
     if 'Rerror' in dir(parent) :
         txt += parent.Rerror
         parent.Rerror = ''
-    #if error is not None :
-    #    txt += '\n%s\n' %error
-    print formatExceptionInfo()
-    log.error(txt)
+    log.info(txt)
     dial.text_ctrl_1.write(txt)
     dial.CenterOnParent()
     dial.ShowModal()
     dial.text_ctrl_1.write(txt)
     dial.CenterOnParent()
     dial.ShowModal()
-    #raise Exception('Bug')
+    dial.Destroy()
     
 def PlaySound(parent):
     if parent.pref.getboolean('iramuteq', 'sound') :
     
 def PlaySound(parent):
     if parent.pref.getboolean('iramuteq', 'sound') :
@@ -423,7 +468,7 @@ def ReadDicoAsDico(dicopath):
     dico = {}
     for line in content :
         if line[0] != u'':
     dico = {}
     for line in content :
         if line[0] != u'':
-            line = line.replace(u'\n', '').replace('"', '').split('\t')
+            line = line.rstrip('\n\r').replace(u'\n', '').replace('"', '').split('\t')
             dico[line[0]] = line[1:]
     return dico
 
             dico[line[0]] = line[1:]
     return dico
 
@@ -462,13 +507,18 @@ def ReadList(filein, encoding = sys.getdefaultencoding()):
         i += 1
     return dict, first
 
         i += 1
     return dict, first
 
+def exec_RCMD(rpath, command) :
+    log.info('R CMD INSTALL %s' % command)
+    rpath = rpath.replace('\\','\\\\')
+    error = call(["%s" % rpath, 'CMD', 'INSTALL', "%s" % command])
+    return error
+
 def exec_rcode(rpath, rcode, wait = True, graph = False):
     log.info("R Script : %s" % rcode)
     needX11 = False
     if sys.platform == 'darwin' :
         try :
             macversion = platform.mac_ver()[0].split('.')
 def exec_rcode(rpath, rcode, wait = True, graph = False):
     log.info("R Script : %s" % rcode)
     needX11 = False
     if sys.platform == 'darwin' :
         try :
             macversion = platform.mac_ver()[0].split('.')
-            print macversion
             if int(macversion[1]) < 5 :
                 needX11 = True
             else :
             if int(macversion[1]) < 5 :
                 needX11 = True
             else :
@@ -477,18 +527,21 @@ def exec_rcode(rpath, rcode, wait = True, graph = False):
             needX11 = False
 
     rpath = rpath.replace('\\','\\\\')
             needX11 = False
 
     rpath = rpath.replace('\\','\\\\')
+    env = os.environ.copy()
+    if sys.platform == 'darwin' and 'LC_ALL' not in env:
+        env['LC_ALL'] = 'en_US.UTF-8'
     if not graph :
         if wait :
             if sys.platform == 'win32':
                 error = call(["%s" % rpath, "--vanilla","--slave","-f", "%s" % rcode])
             else :
     if not graph :
         if wait :
             if sys.platform == 'win32':
                 error = call(["%s" % rpath, "--vanilla","--slave","-f", "%s" % rcode])
             else :
-                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode])
+                error = call([rpath, '--slave', "--vanilla", "-f %s" % rcode, "--encoding=UTF-8"], env = env)
             return error
         else :
             if sys.platform == 'win32':
                 pid = Popen(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             else :
             return error
         else :
             if sys.platform == 'win32':
                 pid = Popen(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             else :
-                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode], stderr = PIPE)
+                pid = Popen([rpath, '--slave', "--vanilla", "-f %s" % rcode, "--encoding=UTF-8"], stderr = PIPE, env = env)
             return pid
     else :
         if wait :
             return pid
     else :
         if wait :
@@ -496,18 +549,18 @@ def exec_rcode(rpath, rcode, wait = True, graph = False):
                 error = call(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             elif sys.platform == 'darwin' and needX11:
                 os.environ['DISPLAY'] = ':0.0'
                 error = call(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             elif sys.platform == 'darwin' and needX11:
                 os.environ['DISPLAY'] = ':0.0'
-                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode])
+                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], env = env)
             else :
             else :
-                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode])
+                error = call([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], env = env)
             return error
         else :
             if sys.platform == 'win32':
                 pid = Popen(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             elif sys.platform == 'darwin' and needX11:
                 os.environ['DISPLAY'] = ':0.0'
             return error
         else :
             if sys.platform == 'win32':
                 pid = Popen(["%s" % rpath, '--vanilla','--slave','-f', "%s" % rcode])
             elif sys.platform == 'darwin' and needX11:
                 os.environ['DISPLAY'] = ':0.0'
-                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode], stderr = PIPE)
+                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], stderr = PIPE, env = env)
             else :
             else :
-                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode], stderr = PIPE)
+                pid = Popen([rpath, '--vanilla','--slave',"-f %s" % rcode, "--encoding=UTF-8"], stderr = PIPE, env = env)
             return pid
 
 def check_Rresult(parent, pid) :
             return pid
 
 def check_Rresult(parent, pid) :
@@ -519,15 +572,21 @@ def check_Rresult(parent, pid) :
                 error[1] = 'None'
             parent.Rerror = '\n'.join([str(pid.returncode), '\n'.join(error)])
             try :
                 error[1] = 'None'
             parent.Rerror = '\n'.join([str(pid.returncode), '\n'.join(error)])
             try :
-                raise Exception('\n'.join(u'Erreur R', '\n'.join(error[1:])))
+                raise Exception('\n'.join([u'Erreur R', '\n'.join(error[1:])]))
             except :
                 BugReport(parent)
             except :
                 BugReport(parent)
+            return False
+        else :
+            return True
     else :
         if pid != 0 :
             try :
                 raise Exception(u'Erreur R')
             except :
                 BugReport(parent)
     else :
         if pid != 0 :
             try :
                 raise Exception(u'Erreur R')
             except :
                 BugReport(parent)
+            return False
+        else :
+            return True
 
 def print_liste(filename,liste):
     with open(filename,'w') as f :
 
 def print_liste(filename,liste):
     with open(filename,'w') as f :
@@ -616,3 +675,20 @@ def treat_var_mod(variables) :
                 if not mod in var_mod[var] :
                     var_mod[var].append(variable)
     return var_mod
                 if not mod in var_mod[var] :
                     var_mod[var].append(variable)
     return var_mod
+
+def doconcorde(corpus, uces, mots) :
+    ucestxt1 = [row for row in corpus.getconcorde(uces)]
+    ucestxt1 = dict(ucestxt1)
+    ucestxt = []
+    ucis_txt = []
+    listmot = [corpus.getlems()[lem].formes for lem in mots]
+    listmot = [corpus.getforme(fid).forme for lem in listmot for fid in lem]
+    mothtml = ['<font color=red><b>'+mot+'</b></font>' for mot in listmot]
+    dmots = dict(zip(listmot, mothtml))
+    for uce in uces :
+        ucetxt = ucestxt1[uce].split()
+        ucetxt = ' '.join([dmots.get(mot, mot) for mot in ucetxt])
+        ucis_txt.append('<p><b>' + ' '.join(corpus.ucis[corpus.getucefromid(uce).uci].etoiles) + '</b></p>')
+        ucestxt.append(ucetxt)        
+    return ucis_txt, ucestxt