...
[iramuteq] / functions.py
index e575359..f2b57df 100644 (file)
@@ -45,60 +45,19 @@ class History :
     def read(self) :
         d = shelve.open(self.filein)
         self.history = d.get('history', [])
     def read(self) :
         d = shelve.open(self.filein)
         self.history = d.get('history', [])
+        self.matrix = d.get('matrix', [])
         self.ordercorpus = dict([[corpus['uuid'], i] for i, corpus in enumerate(self.history)])
         self.ordercorpus = dict([[corpus['uuid'], i] for i, corpus in enumerate(self.history)])
-        self.corpus = dict([[corpus['uuid'], corpus] for i, corpus in enumerate(self.history)])
+        self.corpus = dict([[corpus['uuid'], corpus] for corpus in self.history])
         self.analyses = dict([[analyse['uuid'], analyse] for corpus in self.history for analyse in corpus.get('analyses', [])])
         self.analyses = dict([[analyse['uuid'], analyse] for corpus in self.history for analyse in corpus.get('analyses', [])])
-        #corpusorder = d.get('corpusorder',[])
-        #self.analyseorder = d['analyseorder']
-        #self.order = [uuid for uuid in self.history]
-        #self.order = dict([[i, uuid] for i, uuid in enumerate(self.order)])
-        #self.order = dict([[i, corpus] for i, corpus in enumerate(corpusorder)])
-        #for uuid in self.history :
-        #    if 'corpus_name' in self.history[uuid] :
-        #        self.corpora[uuid] = self.history[uuid]
+        self.matrixanalyse = dict([[mat['uuid'], mat] for mat in self.matrix])
         d.close()
 
         d.close()
 
-#    def read(self) :
-#        self.conf = DoConf(self.filein)
-#        self.order = {}
-#        self.ordera = {}
-#        for i, section in enumerate(self.conf.conf.sections()) :
-#            if self.conf.conf.has_option(section, 'corpus_name') :
-#                self.corpora[section] = self.conf.getoptions(section)
-#                self.order[len(self.order)] = section
-#            else :
-#                self.analyses[section] = self.conf.getoptions(section)
-#                self.ordera[len(self.ordera)] = section
-#        todel = []
-#        for corpus in self.corpora :
-#            self.history[corpus] = copy(self.corpora[corpus])
-#        for analyse in self.analyses :
-#            if self.analyses[analyse]['corpus'] in self.corpora :
-#                if 'analyses' in self.history[self.analyses[analyse]['corpus']] :
-#                    self.history[self.analyses[analyse]['corpus']]['analyses'].append(self.analyses[analyse])
-#                    todel.append(analyse)
-#                else :
-#                    self.history[self.analyses[analyse]['corpus']]['analyses'] = [self.analyses[analyse]]
-#                    todel.append(analyse)
-#            else :
-#                 self.history[analyse] = self.analyses[analyse]
-#        #for analyse in todel :
-#        #    del self.analyses[analyse]
     def write(self) :
         d = shelve.open(self.filein)
         d['history'] = self.history
     def write(self) :
         d = shelve.open(self.filein)
         d['history'] = self.history
-        #order = [i for i in self.order]
-        #order.sort()
-        #d['corpusorder'] = [self.order[i] for i in order]
+        d['matrix'] = self.matrix
         d.close()
         d.close()
-
     
     
-#    def write(self) :
-#        sections = self.corpora.keys() + self.analyses.keys()
-#        parametres = [self.corpora[key] for key in self.corpora.keys()] + [self.analyses[key] for key in self.analyses.keys()]
-#        self.conf.makeoptions(sections, parametres)
-#        log.info('write history')
-#
     def add(self, analyse) :
         log.info('add to history %s' % analyse.get('corpus_name', 'pas un corpus'))
         tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
     def add(self, analyse) :
         log.info('add to history %s' % analyse.get('corpus_name', 'pas un corpus'))
         tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
@@ -108,42 +67,52 @@ class History :
             tosave['corpus'] = analyse['corpus']
             tosave['name'] = analyse['name']
             acorpus_uuid =  analyse['corpus']
             tosave['corpus'] = analyse['corpus']
             tosave['name'] = analyse['name']
             acorpus_uuid =  analyse['corpus']
-            if acorpus_uuid in self.ordercorpus :
+            if acorpus_uuid in self.corpus :
                 if 'analyses' in self.history[self.ordercorpus[acorpus_uuid]] :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'].append(tosave)
                 else :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'] = [tosave]
                 if 'analyses' in self.history[self.ordercorpus[acorpus_uuid]] :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'].append(tosave)
                 else :
                     self.history[self.ordercorpus[acorpus_uuid]]['analyses'] = [tosave]
-                #self.analyses[analyse['uuid']] = tosave
             else :
                 self.orph.append(tosave)
             else :
                 self.orph.append(tosave)
-                #self.order[len(self.order)] = analyse['uuid']
-                #self.analyses[analyse['uuid']] = tosave
         else :
             tosave['corpus_name'] = analyse['corpus_name']
             self.history.append(tosave)
         else :
             tosave['corpus_name'] = analyse['corpus_name']
             self.history.append(tosave)
-            #self.order[len(self.order)] = analyse['uuid']
-            #self.corpora[analyse['uuid']] = tosave
+        self.write()
+        self.read()
+
+    def addMatrix(self, analyse) :
+        tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
+        tosave['name'] = analyse['name']
+        self.matrix.append(tosave)
+        self.write()
+        self.read()
+
+    def addmultiple(self, analyses) :
+        log.info('add multiple')
+        for analyse in analyses :
+            tosave = {'uuid' : analyse['uuid'], 'ira': analyse['ira'], 'type' : analyse['type']}
+            corpus = analyse['corpus']
+            tosave['corpus'] = corpus
+            tosave['name'] = analyse['name']
+            if corpus in self.corpus :
+                if 'analyses' in self.history[self.ordercorpus[corpus]] :
+                    self.history[self.ordercorpus[corpus]]['analyses'].append(tosave)
+                else :
+                    self.history[self.ordercorpus[corpus]]['analyses'] = [tosave]
         self.write()
         self.read()
 
     def delete(self, analyse, corpus = False) :
         self.write()
         self.read()
 
     def delete(self, analyse, corpus = False) :
+        log.info('delete %s' % analyse.get('name', 'noname'))
         if corpus :
         if corpus :
-            #del self.history[uuid]
             self.history.pop(self.ordercorpus[analyse['uuid']])
             self.history.pop(self.ordercorpus[analyse['uuid']])
-            #todel = [i for i in self.order if self.order[i] == uuid]
-            #del self.order[todel[0]]
-            #del self.corpora[uuid]
-            #del self.corpora[uuid]
-            #self.conf.conf.remove_section(uuid)
-            #for analyse in self.history[uuid].get('analyses', [False]) :
-            #    if analyse :
-            #        del self.analyses[analyse['uuid']]
-            #        self.conf.conf.remove_section(analyse['uuid'])
-        else :
+            if analyse['uuid'] in self.openedcorpus :
+                del self.openedcorpus[analyse['uuid']]
+        elif analyse['uuid'] in self.analyses :
             todel = [i for i, ana in enumerate(self.corpus[analyse['corpus']]['analyses']) if ana['uuid'] == analyse['uuid']][0]
             self.history[self.ordercorpus[analyse['corpus']]]['analyses'].pop(todel)
             todel = [i for i, ana in enumerate(self.corpus[analyse['corpus']]['analyses']) if ana['uuid'] == analyse['uuid']][0]
             self.history[self.ordercorpus[analyse['corpus']]]['analyses'].pop(todel)
-            #del self.analyses[uuid]
-            #self.conf.conf.remove_section(uuid)
+        elif analyse['uuid'] in self.matrixanalyse :
+            self.matrix = [mat for mat in self.matrix if mat['uuid'] != analyse['uuid']]
         self.write()
         self.read()
 
         self.write()
         self.read()
 
@@ -226,8 +195,12 @@ class DoConf :
         for val in parametres :
             if isinstance(parametres[val], int) :
                 txt.append(' \t\t: '.join([val, `parametres[val]`]))
         for val in parametres :
             if isinstance(parametres[val], int) :
                 txt.append(' \t\t: '.join([val, `parametres[val]`]))
-            else :
+            elif isinstance(parametres[val], basestring) :
                 txt.append(' \t\t: '.join([val, parametres[val]]))
                 txt.append(' \t\t: '.join([val, parametres[val]]))
+            elif val in ['listet', 'stars'] :
+                pass
+            else :
+                txt.append(' \t\t: '.join([val, `parametres[val]`]))
         return '\n'.join(txt)
 
 
         return '\n'.join(txt)
 
 
@@ -241,7 +214,9 @@ class BugDialog(wx.Dialog):
         kwds["style"] = wx.DEFAULT_DIALOG_STYLE
         kwds["size"] = wx.Size(500, 200)
         wx.Dialog.__init__(self, *args, **kwds)
         kwds["style"] = wx.DEFAULT_DIALOG_STYLE
         kwds["size"] = wx.Size(500, 200)
         wx.Dialog.__init__(self, *args, **kwds)
+        self.SetTitle(kwds['title'])
         self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
         self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
+        self.text_ctrl_1.SetBackgroundColour('#DDE8EB')
         self.button_1 = wx.Button(self, wx.ID_OK, "")
 
         self.__set_properties()
         self.button_1 = wx.Button(self, wx.ID_OK, "")
 
         self.__set_properties()
@@ -250,7 +225,6 @@ class BugDialog(wx.Dialog):
 
     def __set_properties(self):
         # begin wxGlade: MyDialog.__set_properties
 
     def __set_properties(self):
         # begin wxGlade: MyDialog.__set_properties
-        self.SetTitle("Bug")
         self.SetMinSize(wx.Size(500, 200))
         self.text_ctrl_1.SetMinSize(wx.Size(500, 200))
         
         self.SetMinSize(wx.Size(500, 200))
         self.text_ctrl_1.SetMinSize(wx.Size(500, 200))
         
@@ -321,7 +295,7 @@ def treat_line_alceste(i, line) :
         line[5] = str(float(line[5].replace(',', '.')))[0:7]
     return [i, int(line[0]), int(line[1]), float(line[2]), float(line[3]), line[6], line[4], line[5]]
 
         line[5] = str(float(line[5].replace(',', '.')))[0:7]
     return [i, int(line[0]), int(line[1]), float(line[2]), float(line[3]), line[6], line[4], line[5]]
 
-def ReadProfileAsDico(parent, File, Alceste=False, encoding = sys.getdefaultencoding()):
+def ReadProfileAsDico(File, Alceste=False, encoding = sys.getdefaultencoding()):
     #print 'lecture des profils : ReadProfileAsDico'
     #if Alceste :
     #    print 'lecture du dictionnaire de type'
     #print 'lecture des profils : ReadProfileAsDico'
     #if Alceste :
     #    print 'lecture du dictionnaire de type'
@@ -331,7 +305,6 @@ def ReadProfileAsDico(parent, File, Alceste=False, encoding = sys.getdefaultenco
     dictlem = {}
     print 'lecture des profiles'
     #encoding = sys.getdefaultencoding()
     dictlem = {}
     print 'lecture des profiles'
     #encoding = sys.getdefaultencoding()
-    print encoding
     FileReader = codecs.open(File, 'r', encoding)
     Filecontent = FileReader.readlines()
     FileReader.close()
     FileReader = codecs.open(File, 'r', encoding)
     Filecontent = FileReader.readlines()
     FileReader.close()
@@ -355,17 +328,20 @@ def ReadProfileAsDico(parent, File, Alceste=False, encoding = sys.getdefaultenco
         DictProfile[cluster] = [valclusters[i]] + prof[i]
     return DictProfile
 
         DictProfile[cluster] = [valclusters[i]] + prof[i]
     return DictProfile
 
-def GetTxtProfile(dictprofile) :
+def GetTxtProfile(dictprofile, cluster_size) :
     proflist = []
     for classe in range(0, len(dictprofile)) :
         prof = dictprofile[str(classe + 1)]
     proflist = []
     for classe in range(0, len(dictprofile)) :
         prof = dictprofile[str(classe + 1)]
-        clinfo = prof[0]
+        clinfo = cluster_size[classe]
         proflist.append('\n'.join([' '.join(['classe %i' % (classe + 1), '-', '%s uce sur %s - %s%%' % (clinfo[0], clinfo[1], clinfo[2])]), '\n'.join(['%5s|%5s|%6s|%6s|%8s|%8s|%20s\t%10s' % tuple([str(val) for val in line]) for line in prof if len(line)==8])]))
     return '\n\n'.join(proflist)
 
 def formatExceptionInfo(maxTBlevel=5):
          cla, exc, trbk = sys.exc_info()
         proflist.append('\n'.join([' '.join(['classe %i' % (classe + 1), '-', '%s uce sur %s - %s%%' % (clinfo[0], clinfo[1], clinfo[2])]), '\n'.join(['%5s|%5s|%6s|%6s|%8s|%8s|%20s\t%10s' % tuple([str(val) for val in line]) for line in prof if len(line)==8])]))
     return '\n\n'.join(proflist)
 
 def formatExceptionInfo(maxTBlevel=5):
          cla, exc, trbk = sys.exc_info()
-         excName = cla.__name__
+         try :
+            excName = cla.__name__
+         except :
+            excName = 'None'
          try:
              excArgs = exc.args[0]
          except :
          try:
              excArgs = exc.args[0]
          except :
@@ -431,38 +407,49 @@ def decoupercharact(chaine, longueur, longueurOptimale, separateurs = None) :
     # si on a rien trouvé
     return False, chaine.split(), ''
 
     # si on a rien trouvé
     return False, chaine.split(), ''
 
+
+exceptions = {'paragrapheOT' : u"Un problème de formatage (présence d'un marqueur de paragraphe (-*) en dehors d'un texte) est survenu à la ligne ",
+              'EmptyText' : u"Texte vide (probablement un problème de formatage du corpus). Le problème est apparu à la ligne ",
+              'CorpusEncoding' : u"Problème d'encodage.",
+              'TextBeforeTextMark' : u"Problème de formatage : du texte avant le premier marqueur de texte (****). Le problème est survenu à la ligne ",
+}
+
 def BugReport(parent, error = None):
     for ch in parent.GetChildren():
         if "<class 'wx._windows.ProgressDialog'>" == str(type(ch)):
             ch.Destroy()   
     excName, exc, excTb = formatExceptionInfo()
     if excName == 'Exception' :
 def BugReport(parent, error = None):
     for ch in parent.GetChildren():
         if "<class 'wx._windows.ProgressDialog'>" == str(type(ch)):
             ch.Destroy()   
     excName, exc, excTb = formatExceptionInfo()
     if excName == 'Exception' :
-        txt = 'Message :\n'
+        print exc
+        if len(exc.split()) == 2 :
+            mss, linenb = exc.split()
+            if mss in exceptions :
+                txt = exceptions[mss] + linenb
+            else :
+                txt = exc
+        else :
+            if exc in exceptions :
+                txt = exceptions[mss]
+            else :
+                txt = exc
+        title = "Information"
     else :
         txt = u'            !== BUG ==!       \n'
         txt += u'*************************************\n'
         txt += '\n'.join(excTb).replace('    ', ' ')
         txt += excName + '\n'
     else :
         txt = u'            !== BUG ==!       \n'
         txt += u'*************************************\n'
         txt += '\n'.join(excTb).replace('    ', ' ')
         txt += excName + '\n'
-    txt += exc
-
-    dial = BugDialog(parent)
-    #for line in formatExceptionInfo():
-    #    if type(line) == type([]):
-    #        for don in line:
-    #            txt += don.replace('    ', ' ')
-    #    else:
-    #        txt += line + '\n'
+        txt += exc
+        title = "Bug"
+
+    dial = BugDialog(parent, **{'title' : title})
     if 'Rerror' in dir(parent) :
         txt += parent.Rerror
         parent.Rerror = ''
     if 'Rerror' in dir(parent) :
         txt += parent.Rerror
         parent.Rerror = ''
-    #if error is not None :
-    #    txt += '\n%s\n' %error
-    print formatExceptionInfo()
-    log.error(txt)
+    log.info(txt)
     dial.text_ctrl_1.write(txt)
     dial.CenterOnParent()
     dial.ShowModal()
     dial.text_ctrl_1.write(txt)
     dial.CenterOnParent()
     dial.ShowModal()
-    #raise Exception('Bug')
+    dial.Destroy()
     
 def PlaySound(parent):
     if parent.pref.getboolean('iramuteq', 'sound') :
     
 def PlaySound(parent):
     if parent.pref.getboolean('iramuteq', 'sound') :
@@ -485,9 +472,12 @@ def ReadDicoAsDico(dicopath):
             dico[line[0]] = line[1:]
     return dico
 
             dico[line[0]] = line[1:]
     return dico
 
-def ReadLexique(parent, lang = 'french'):
+def ReadLexique(parent, lang = 'french', filein = None):
     if lang != 'other' :
     if lang != 'other' :
-        parent.lexique = ReadDicoAsDico(parent.DictPath.get(lang, 'french'))
+        if filein is None :
+            parent.lexique = ReadDicoAsDico(parent.DictPath.get(lang, 'french'))
+        else :
+            parent.lexique = ReadDicoAsDico(filein)
     else :
         parent.lexique = {}
 
     else :
         parent.lexique = {}
 
@@ -517,8 +507,14 @@ def ReadList(filein, encoding = sys.getdefaultencoding()):
         i += 1
     return dict, first
 
         i += 1
     return dict, first
 
+def exec_RCMD(rpath, command) :
+    log.info('R CMD INSTALL %s' % command)
+    rpath = rpath.replace('\\','\\\\')
+    error = call(["%s" % rpath, 'CMD', 'INSTALL', "%s" % command])
+    return error
+
 def exec_rcode(rpath, rcode, wait = True, graph = False):
 def exec_rcode(rpath, rcode, wait = True, graph = False):
-    print rpath, rcode
+    log.info("R Script : %s" % rcode)
     needX11 = False
     if sys.platform == 'darwin' :
         try :
     needX11 = False
     if sys.platform == 'darwin' :
         try :
@@ -574,15 +570,21 @@ def check_Rresult(parent, pid) :
                 error[1] = 'None'
             parent.Rerror = '\n'.join([str(pid.returncode), '\n'.join(error)])
             try :
                 error[1] = 'None'
             parent.Rerror = '\n'.join([str(pid.returncode), '\n'.join(error)])
             try :
-                raise Exception('\n'.join(u'Erreur R', '\n'.join(error[1:])))
+                raise Exception('\n'.join([u'Erreur R', '\n'.join(error[1:])]))
             except :
                 BugReport(parent)
             except :
                 BugReport(parent)
+            return False
+        else :
+            return True
     else :
         if pid != 0 :
             try :
                 raise Exception(u'Erreur R')
             except :
                 BugReport(parent)
     else :
         if pid != 0 :
             try :
                 raise Exception(u'Erreur R')
             except :
                 BugReport(parent)
+            return False
+        else :
+            return True
 
 def print_liste(filename,liste):
     with open(filename,'w') as f :
 
 def print_liste(filename,liste):
     with open(filename,'w') as f :
@@ -596,46 +598,41 @@ def read_list_file(filename, encoding = sys.getdefaultencoding()):
     return ncontent
         
 class MessageImage(wx.Frame):
     return ncontent
         
 class MessageImage(wx.Frame):
-    def __init__(self, *args, **kwds):
-        # begin wxGlade: MyFrame.__init__
-        kwds["style"] = wx.DEFAULT_FRAME_STYLE
-        wx.Frame.__init__(self, *args, **kwds)
-        #self.text_ctrl_1 = wx.TextCtrl(self, -1, "", style=wx.TE_MULTILINE)
+    def __init__(self, parent,title, size):
+        wx.Frame.__init__ ( self, parent, id = wx.ID_ANY, title = title, pos = wx.DefaultPosition, size = size, style = wx.DEFAULT_FRAME_STYLE )
+        self.SetSizeHintsSz( wx.DefaultSize, wx.DefaultSize )
         self.imageFile = False
         self.imagename = u"chi_classe.png"
         self.HtmlPage = wx.html.HtmlWindow(self, -1)
         self.imageFile = False
         self.imagename = u"chi_classe.png"
         self.HtmlPage = wx.html.HtmlWindow(self, -1)
+        self.HtmlPage.SetMinSize(size)
         if "gtk2" in wx.PlatformInfo:
             self.HtmlPage.SetStandardFonts()
         self.HtmlPage.SetFonts('Courier', 'Courier')
         
         if "gtk2" in wx.PlatformInfo:
             self.HtmlPage.SetStandardFonts()
         self.HtmlPage.SetFonts('Courier', 'Courier')
         
-        self.button_1 = wx.Button(self, -1, u"Fermer")
+        self.button_1 = wx.Button(self, wx.ID_CANCEL)
+        self.button_2 = wx.Button(self, wx.ID_SAVE)
         self.Bind(wx.EVT_BUTTON, self.OnCloseMe, self.button_1)
         self.Bind(wx.EVT_BUTTON, self.OnCloseMe, self.button_1)
-        self.Bind(wx.EVT_CLOSE, self.OnCloseWindow)
-        self.__do_layout()
-        # end wxGlade
-
-    def __do_layout(self):
-        # begin wxGlade: MyFrame.__do_layout
-        sizer_1 = wx.BoxSizer(wx.VERTICAL)
-        self.sizer_2 = wx.BoxSizer(wx.VERTICAL)
-        self.sizer_2.Add(self.HtmlPage, 1, wx.EXPAND | wx.ADJUST_MINSIZE, 0)
-        self.sizer_2.Add(self.button_1, 0, wx.ALIGN_CENTER_HORIZONTAL | wx.ADJUST_MINSIZE, 0)
-        sizer_1.Add(self.sizer_2, 1, wx.EXPAND, 0)
-        self.SetAutoLayout(True)
-        self.SetSizer(sizer_1)
-        # end wxGlade
-
-    def addsaveimage(self, imageFile) :
-        self.imageFile = imageFile
-        self.button_2 = wx.Button(self, -1, u"Enregistrer l'image...")
         self.Bind(wx.EVT_BUTTON, self.OnSaveImage, self.button_2)
         self.Bind(wx.EVT_BUTTON, self.OnSaveImage, self.button_2)
-        self.sizer_2.Add(self.button_2, 0, wx.ALIGN_CENTER_HORIZONTAL | wx.ADJUST_MINSIZE, 0)
+        self.do_layout()
+
+    def do_layout(self):
+        self.sizer_1 = wx.BoxSizer(wx.VERTICAL)
+        self.sizer_2 = wx.BoxSizer(wx.HORIZONTAL)
+        self.sizer_1.Add(self.HtmlPage, 2, wx.EXPAND, 0)
+
+        self.m_sdbSizer1 = wx.StdDialogButtonSizer()
+        self.m_sdbSizer1.AddButton(  self.button_2 )
+        self.m_sdbSizer1.AddButton(  self.button_1 )
+        self.m_sdbSizer1.Realize()
+        self.sizer_1.Add(self.m_sdbSizer1, 0, wx.EXPAND, 5)
+        self.SetSizer(self.sizer_1)
         self.Layout()
         self.Layout()
+        self.sizer_1.Fit( self )
 
 
+    def addsaveimage(self, imageFile) :
+        self.imageFile = imageFile
+        
     def OnCloseMe(self, event):
     def OnCloseMe(self, event):
-        self.Close(True)
-
-    def OnCloseWindow(self, event):
         self.Destroy()
 
     def OnSaveImage(self, event) :
         self.Destroy()
 
     def OnSaveImage(self, event) :