...
[iramuteq] / ProfList.py
index 063a275..b64d633 100644 (file)
@@ -27,10 +27,11 @@ import webbrowser
 #import cStringIO
 import tempfile
 import codecs
-from functions import exec_rcode, MessageImage, progressbar, treat_var_mod
+from functions import exec_rcode, MessageImage, progressbar, treat_var_mod, doconcorde
 from PrintRScript import barplot
 from textclassechd import ClasseCHD
 from shutil import copyfile
+from operator import itemgetter
 
 #---------------------------------------------------------------------------
 class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.ColumnSorterMixin):
@@ -100,7 +101,7 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
 
 
         self.InsertColumn(0, "num", wx.LIST_FORMAT_RIGHT)
-        self.InsertColumn(1, "eff. uce", wx.LIST_FORMAT_RIGHT)
+        self.InsertColumn(1, "eff. s.t.", wx.LIST_FORMAT_RIGHT)
         self.InsertColumn(2, "eff. total", wx.LIST_FORMAT_RIGHT)
         self.InsertColumn(3, "pourcentage", wx.LIST_FORMAT_RIGHT)
         self.InsertColumn(4, "chi2", wx.LIST_FORMAT_RIGHT)
@@ -236,16 +237,16 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
     def onsearch(self, evt) :
         self.dial = SearchDial(self, self, 6, True)
         self.dial.CenterOnParent()
-        self.dial.ShowModal()
-        self.dial.Destroy()
+        self.dial.Show()
+        #self.dial.Destroy()
 
     def onsearchall(self, evt) :
         if 'FrameSearch' not in dir(self.Source) :
             self.Source.FrameSearch = SearchFrame(self.parent, -1, u"Rechercher...", self.Source.corpus)
         self.dial = SearchDial(self, self.Source.FrameSearch.liste, 1, False)
         self.dial.CenterOnParent()
-        self.dial.ShowModal()
-        self.dial.Destroy()
+        self.dial.Show()
+        #self.dial.Destroy()
 
     def OnRightClick(self, event):
 
@@ -270,6 +271,7 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
                 self.idwordgraph = wx.NewId()
                 self.popup_proxe = wx.NewId()
                 self.idlexdendro = wx.NewId()
+                self.idcloud = wx.NewId()
                 self.idexport = wx.NewId()
             #    self.export_classes = wx.NewId()
    
@@ -291,6 +293,7 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
                 self.Bind(wx.EVT_MENU, self.onwordgraph, id = self.idwordgraph)
                 self.Bind(wx.EVT_MENU, self.onproxe, id = self.popup_proxe)
                 self.Bind(wx.EVT_MENU, self.onlexdendro, id = self.idlexdendro)
+                self.Bind(wx.EVT_MENU, self.oncloud, id = self.idcloud)
                 self.Bind(wx.EVT_MENU, self.onexport, id = self.idexport)
              #  self.Bind(wx.EVT_MENU, self.on_export_classes, id = self.export_classes)
    #            self.Bind(wx.EVT_MENU, self.OnPopupThree, id=self.popupID3)
@@ -307,9 +310,9 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
             #menu.Append(self.popupID10, u"Spécificités")
 
             menu_conc = wx.Menu()
-            menu_conc.Append(self.popupID2, u"dans les uce de la classe")
-            menu_conc.Append(self.popupID3, u"dans les uce classées")
-            menu_conc.Append(self.popupID4, u"dans toutes les uce")
+            menu_conc.Append(self.popupID2, u"dans les segments de texte de la classe")
+            menu_conc.Append(self.popupID3, u"dans les segments de texte classés")
+            menu_conc.Append(self.popupID4, u"dans tous les segments de texte")
             menu.AppendMenu(-1, u"Concordancier", menu_conc) 
             menu_cnrtl = wx.Menu()      
             menu_cnrtl.Append(self.popupID5, u"Définition")
@@ -322,8 +325,9 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
             menu.AppendSeparator()
             menu.Append(self.popupIDgraph, u"Graphe de la classe")
             menu.Append(self.idseg, u"Segments répétés")
-            menu.Append(self.iducecarac, u"UCE caractéristiques")
-            menu.Append(self.idexport, 'Exporter...')
+            menu.Append(self.iducecarac, u"Segments de texte caractéristiques")
+            menu.Append(self.idcloud, u"Nuage de la classe")
+            menu.Append(self.idexport, u'Exporter...')
             #menu.Append(self.popupID2, u"Concordancier")
     #        menu.Append(self.popupID3, "recharger")
     
@@ -346,11 +350,25 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
             self.PopupMenu(menu)
             menu.Destroy()
 
+    def oncloud(self, evt) :
+        if 'corpus' in dir(self.Source):
+            corpus = self.Source.corpus
+        prof = [[self.la[i], self.lchi[i], self.lfreq[i]] for i, val in enumerate(self.la)]
+        parametres = self.Source.parametres
+        parametres['clusterprof'] = prof
+        parametres['type'] = 'clustercloud'
+        parametres['prof'] = self.Source.pathout['actprof_classe_%i.csv' % self.cl]
+        del  parametres['uuid']
+        #if not os.path.exists(self.Source.pathout['actprof_classe_%i.csv' % self.lc]) :
+        #    with open(self.Source.pathout['actprof_classe_%i.csv' % self.lc], 'w') as f :
+        #        f.write('\n'.join(prof).encode(self.parent.syscoding))
+        self.parent.OnClusterCloud(self.Source.corpus, parametres = parametres)
+
     def onexport(self, evt) :
         if 'corpus' in dir(self.Source):
             corpus = self.Source.corpus
-            corpus.export_classe(self.Source.pathout['classe_%i_export.txt' % self.cl], self.cl)
-        dial = wx.MessageDialog(self, self.Source.pathout['classe_%i_export.txt' % self.cl], u"Export", wx.ID_OK|wx.ICON_INFORMATION)
+        corpus.export_classe(self.Source.pathout['classe_%i_export.txt' % self.cl], self.cl)
+        dial = wx.MessageDialog(self, self.Source.pathout['classe_%i_export.txt' % self.cl], u"Export", wx.OK|wx.ICON_INFORMATION)
         dial.ShowModal()
         dial.Destroy()
         #if 'corpus' in dir(self.Source):
@@ -413,6 +431,10 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
 
     def quest_simi(self, evt) :
         tableau = self.Source.tableau
+        if self.tmpchi is None :
+            self.tmpchi = tempfile.mktemp(dir=self.Source.parent.TEMPDIR)
+            with open(self.tmpchi, 'w') as f:
+                f.write('\n'.join([str(val) for val in self.lchi]))
         tab = tableau.make_table_from_classe(self.cl, self.la)
         pathout = ConstructPathOut(self.Source.pathout.dirout, 'simi_classe_%i' %self.cl)
         self.filename = os.path.join(pathout,'mat01.csv')
@@ -450,15 +472,9 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
                           'film': False,
                           'com' : 0,
                           'communities' : 0,
-                          'halo' : 0
+                          'halo' : 0,
+                          'tmpchi': self.tmpchi
                           }
-#        self.tableau.actives = {}
-#        self.tableau.lchi = self.lchi
-#        self.tableau.chi = {}
-#        for i, val in enumerate(self.la) :
-#            self.tableau.actives[val] = [self.lfreq[i]]
-#            self.tableau.chi[val] = [self.lchi[i]]
-                          
         act = {}
         tableau.chi = {}
         tableau.lchi = self.lchi
@@ -496,59 +512,6 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
                         'tmpchi' : self.tmpchi}
 
         self.parent.SimiFromCluster(self.parent, self.Source.corpus, self.la, self.lfreq, self.lchi, self.cl - 1, parametres = parametres, dlg = progressbar(self, 4))
-        #dlg = progressbar(self, 2)
-        #corpus = self.Source.corpus
-        #uces = corpus.lc[self.cl-1]
-        #dlg.Update(1, u'Tableau...')
-        ##tab = corpus.make_table_with_classe(uces, self.la)
-        #pathout = ConstructPathOut(self.Source.pathout.dirout+'/', 'simi_classe_%i' %self.cl)
-        #self.filename = os.path.join(pathout,'mat01.csv')
-        #dlg.Update(2, u'Ecriture...')
-        ##corpus.write_tab(tab, self.filename)
-        ##del tab
-        #corpus.make_and_write_sparse_matrix_from_classe(self.la, uces, self.filename)
-        #dlg.Destroy()
-        #paramsimi = {'coeff' : 0,
-        #                  'layout' : 2,
-        #                  'type' : 1,
-        #                  'arbremax' : 1,
-        #                  'coeff_tv' : 1,
-        #                  'coeff_tv_nb' : 0,
-        #                  'tvprop' : 0,
-        #                  'tvmin' : 5,
-        #                  'tvmax' : 30,
-        #                  'coeff_te' : 1,
-        #                  'coeff_temin' : 1,
-        #                  'coeff_temax' : 10,
-        #                  'label_v': 1,
-        #                  'label_e': 0,
-        #                  'vcex' : 0,
-        #                  'vcexmin' : 10,
-        #                  'vcexmax' : 25,
-        #                  'cex' : 10,
-        #                  'cexfromchi' : True,
-        #                  'sfromchi': False,
-        #                  'seuil_ok' : 0,
-        #                  'seuil' : 1,
-        #                  'cols' : (255,0,0),
-        #                  'cola' : (200,200,200),
-        #                  'width' : 1000,
-        #                  'height' : 1000,
-        #                  'first' : True,
-        #                  'keep_coord' : True,
-        #                  'alpha' : 20,
-        #                  'film': False,
-        #                  }
-        #self.tableau = Tableau(self.parent, '')
-        #self.tableau.listactives = self.la
-        #self.tableau.actives = {}
-        #self.tableau.lchi = self.lchi
-        #self.tableau.chi = {}
-        #self.tableau.parametre['fromprof'] = True
-        #for i, val in enumerate(self.la) :
-        #    self.tableau.actives[val] = [self.lfreq[i]]
-        #    self.tableau.chi[val] = [self.lchi[i]]
-        #DoSimi(self, param = paramsimi, fromprof = ffr(self.filename), pathout = pathout)
 
     def on_segments(self,evt) :
         dlg = progressbar(self, 2)
@@ -595,24 +558,10 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
             ntab2 = ntab2[:limite]
             nuces = [val[1] for val in ntab2]
             dlg.Update(3, u'concordancier...')
-            #ucestxt = [corpus.ucis_paras_uces[val[1][0]][val[1][1]][val[1][2]] for val in ntab2]
-            ucestxt1 = [row for row in corpus.getconcorde(nuces)]
-            ucestxt = []
-            ucis_txt = []
-            for uce in ucestxt1 :
-                ucetxt = ' '+uce[1]+' '
-                ucis_txt.append(' '.join(corpus.ucis[corpus.getucefromid(uce[0]).uci].etoiles) + '<br>')
-                for lem in self.la :
-                    listmot = corpus.getlems()[lem].formes
-                    for id in listmot :
-                        forme = corpus.getforme(id).forme
-                        ucetxt = ucetxt.replace(' '+forme+' ', '<font color=red> ' + forme + ' </font>')
-                ucestxt.append(ucetxt)        
-            #ucestxt = [corpus.make_concord(self.la, ' '.join(uce), 'red') for uce in ucestxt]
+            ucis_txt, ucestxt = doconcorde(corpus, nuces, self.la)
             dlg.Update(4, u'texte...')
-            #ucis_txt = [' '.join(corpus.ucis[val[1][0]][0]) for val in ntab2]
-            win = message(self, u"UCE caractéristiques - Classe %i" % self.cl, (750, 600))
-            win.html = '<html>\n' + '<br><br>'.join(['<br>'.join([ucis_txt[i], 'score : ' + str(ntab2[i][0]), ucestxt[i]]) for i in range(0,len(ucestxt))]) + '\n</html>'
+            win = message(self, u"Segments de texte caractéristiques - Classe %i" % self.cl, (750, 600))
+            win.html = '<html>\n' + '<br>'.join(['<br>'.join([ucis_txt[i], '<table bgcolor = #1BF0F7 border=0><tr><td><b>score : %.2f</b></td></tr></table>' % ntab2[i][0], ucestxt[i]]) for i in range(0,len(ucestxt))]) + '\n</html>'
             win.HtmlPage.SetPage(win.html)
             dlg.Destroy()
             win.Show(True)
@@ -635,6 +584,12 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
         nbcl = len(title)
         nbwords = len(words)
         txt = barplot(tableout, words, title, self.Source.parent.RscriptsPath['Rgraph'], tmpgraph)
+        #print 'ATTENTION TEST R'
+        #txt = """
+        #sink('/Users/pierre/Desktop/qdfqsdfqsdfqsdf.txt')
+        #Sys.getlocale()
+        #sink()
+        #"""
         tmpscript = tempfile.mktemp(dir=self.Source.parent.TEMPDIR)
         file = open(tmpscript,'w')
         file.write(txt)
@@ -703,26 +658,13 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
         while self.GetNextSelected(last) != -1:
             last = self.GetNextSelected(last)
             ListWord.append(self.getColumnText(last, 6))
-        listmot = [forme for item in ListWord for forme in corpus.getlems()[item].formes]
-        win = message(self, title, size=(750, 600))
-        toshow = ['<html>\n<H1>Concordancier</H1>\n']
-        toshow.append('<h3><font color=%s>' % color + ' '.join(ListWord) + '</font></h3><br>')
-        duce = {}
         ucef = []
         for word in ListWord : 
             ucef += list(set(corpus.getlemuces(word)).intersection(uces))
-        ucef = list(set(ucef))
-        ucef.sort()
-        res = corpus.getconcorde(ucef)
-        txt = '<br>'.join(toshow) +'<br><br>'
-        for uce in res :
-            ucetxt = ' '+uce[1]+' '
-            txt += ' '.join(corpus.ucis[corpus.getucefromid(uce[0]).uci].etoiles) + '<br>'
-            for forme in listmot:
-                forme = corpus.getforme(forme).forme
-                ucetxt = ucetxt.replace(' '+forme+' ', '<font color=red> ' + forme + ' </font>')
-            txt += ucetxt + '<br><br>'
-        win.HtmlPage.SetPage(txt)
+        ucis_txt, ucestxt = doconcorde(corpus, ucef, ListWord)
+        win = message(self, title, size=(750, 600))
+        win.html = ('<html>\n<h1>%s</h1>' % ' '.join(ListWord)) + '<br>'.join(['<br>'.join([ucis_txt[i], ucestxt[i]]) for i in range(0,len(ucestxt))]) + '\n</html>'
+        win.HtmlPage.SetPage(win.html)
         return win
 
     def OnPopupTwo(self, event):
@@ -788,6 +730,7 @@ class ProfListctrlPanel(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.Col
             if ucef != [] :
                 nb = len(ucef)
                 rep.append([corpus.getforme(forme).forme, nb])
+        rep.sort(key = itemgetter(1), reverse = True)
         win = message(self, u"Formes associées", wx.Size(300, 200))
         win.html = '<html>\n' + '<br>'.join([' : '.join([str(val) for val in forme]) for forme in rep]) + '\n</html>'
         win.HtmlPage.SetPage(win.html)