sparse jaccard
[iramuteq] / listlex.py
1 # -*- coding: utf-8 -*-
2
3 #----------------------------------------------------------------------------
4 # Author:       Pierre Ratinaud
5
6
7 #comes from ListCtrl.py from the demo tool of wxPython:
8 # Author:       Robin Dunn & Gary Dumer
9 #
10 # Created:
11 # Copyright:    (c) 1998 by Total Control Software
12 # Licence:      wxWindows license
13 #----------------------------------------------------------------------------
14
15 import os
16 import sys
17 import  wx
18 import  wx.lib.mixins.listctrl  as  listmix
19 import tempfile
20 from functions import exec_rcode, doconcorde
21 from chemins import ffr
22 from PrintRScript import barplot
23 from dialog import SearchDial, message, BarGraphDialog, BarFrame
24 from operator import itemgetter
25 #---------------------------------------------------------------------------
26
27 class ListForSpec(wx.ListCtrl, listmix.ListCtrlAutoWidthMixin, listmix.ColumnSorterMixin):
28     def __init__(self, parent,gparent, dlist = {}, first = [], usefirst = False, menu = True):
29     #def  __init__(self, parent) :
30         wx.ListCtrl.__init__( self, parent, -1, style=wx.LC_REPORT|wx.LC_VIRTUAL|wx.LC_HRULES|wx.LC_VRULES)
31         self.parent=parent
32         self.gparent=gparent
33         self.dlist=dlist
34         self.first = first
35         self.tgen = False
36         self.tgenlem = False
37         if 'etoiles' in dir(self.gparent) and not usefirst :
38             self.etoiles = self.gparent.etoiles
39         else :
40             self.etoiles = []
41             for val in self.first :
42                 if val.startswith(u'X.') :
43                     val = val.replace(u'X.', u'*')
44                 self.etoiles.append(val)
45         self.menu = menu
46
47     #def start(self) :
48         search_id = wx.NewId()
49         self.parent.Bind(wx.EVT_MENU, self.onsearch, id = search_id)
50         self.accel_tbl = wx.AcceleratorTable([(wx.ACCEL_CTRL, ord('F'), search_id)])
51         self.SetAcceleratorTable(self.accel_tbl)
52
53         self.il = wx.ImageList(16, 16)
54         a={"sm_up":"GO_UP","sm_dn":"GO_DOWN","w_idx":"WARNING","e_idx":"ERROR","i_idx":"QUESTION"}
55         for k,v in a.items():
56             s="self.%s= self.il.Add(wx.ArtProvider_GetBitmap(wx.ART_%s,wx.ART_TOOLBAR,(16,16)))" % (k,v)
57             exec(s)
58         self.SetImageList(self.il, wx.IMAGE_LIST_SMALL)
59
60         tID = wx.NewId()
61
62         self.attr1 = wx.ListItemAttr()
63         self.attr1.SetBackgroundColour((230, 230, 230))
64         self.attr2 = wx.ListItemAttr()
65         self.attr2.SetBackgroundColour("light blue")
66         self.attrselected = wx.ListItemAttr()
67         self.attrselected.SetBackgroundColour("red")
68         self.selected = {}
69         
70         i=0
71         for name in [u'formes'] + self.etoiles :
72             self.InsertColumn(i,name,wx.LIST_FORMAT_LEFT)
73             i+=1
74             
75         self.SetColumnWidth(0, 180)
76
77         for i in range(0,len(self.etoiles)):
78             self.SetColumnWidth(i + 1, self.checkcolumnwidth(len(self.etoiles[i]) * 10))
79         
80         self.itemDataMap = self.dlist
81         self.itemIndexMap = self.dlist.keys()
82         self.SetItemCount(len(self.dlist))
83         
84         #listmix.ListCtrlAutoWidthMixin.__init__(self)
85         listmix.ColumnSorterMixin.__init__(self, len(self.first) + 1)
86         self.SortListItems(1, 0)
87         
88 #-----------------------------------------------------------------------------------------    
89         self.Bind(wx.EVT_LIST_ITEM_SELECTED, self.OnItemSelected, self)
90         
91         self.Bind(wx.EVT_LIST_ITEM_ACTIVATED , self.OnPopupTwo, self)
92         # for wxMSW
93         self.Bind(wx.EVT_COMMAND_RIGHT_CLICK, self.OnRightClick)
94
95         # for wxGTK
96         self.Bind(wx.EVT_RIGHT_UP, self.OnRightClick)
97
98 #-----------------------------------------------------------------------------------------    
99     def RefreshData(self, data):
100         self.itemDataMap = data
101         self.itemIndexMap = data.keys()
102         self.SetItemCount(len(data))
103         self.Refresh()
104         
105     def checkcolumnwidth(self, width) :
106         if width < 80 :
107             return 80
108         else :
109             return width
110
111     def OnGetItemText(self, item, col):
112         index=self.itemIndexMap[item]
113         s = self.itemDataMap[index][col]
114         return s
115
116     def OnGetItemAttr(self, item):
117         if self.getColumnText(item, 0) not in self.selected :
118             if item % 2 :
119                 return self.attr1
120             else :
121                 return self.attr2
122         else :
123             return self.attrselected
124     
125     def GetItemByWord(self, word):
126         return [ val for val in self.dlist if self.dlist[val][0] == word ][0]
127
128     # Used by the ColumnSorterMixin, see wx/lib/mixins/listctrl.py
129     def GetListCtrl(self):
130         return self
131
132     # Used by the ColumnSorterMixin, see wx/lib/mixins/listctrl.py
133     def GetSortImages(self):
134         return (self.sm_dn, self.sm_up)
135     
136     def OnRightDown(self, event):
137         x = event.GetX()
138         y = event.GetY()
139         item, flags = self.HitTest((x, y))
140
141         if flags & wx.LIST_HITTEST_ONITEM:
142             self.Select(item)
143
144         event.Skip()
145     
146     def GetString(self, evt):
147         return self.getselectedwords()[0]
148     
149     def GetSelections(self):
150         return self.getselectedwords()
151
152     def getColumnText(self, index, col):
153         item = self.GetItem(index, col)
154         return item.GetText()
155
156     def GetItemData(self, item) :
157         index=self.itemIndexMap[item]
158         s = self.itemDataMap[index]
159         return s
160     
161     def SortItems(self,sorter=cmp):
162         items = list(self.itemDataMap.keys())
163         items.sort(sorter)
164         self.itemIndexMap = items
165         # redraw the list
166         self.Refresh()
167     
168     def OnItemSelected(self, event):
169         self.currentItem = event.m_itemIndex
170         event.Skip()
171
172     def onsearch(self, evt) :
173         self.dial = SearchDial(self, self, 0, True)
174         self.dial.CenterOnParent()
175         self.dial.Show()
176         #self.dial.Destroy()
177     
178     def OnRightClick(self, event):
179         if self.menu :
180             # only do this part the first time so the events are only bound once
181             if not hasattr(self, "popupID1"):
182                 self.popupID1 = wx.NewId()
183                 self.popupID2 = wx.NewId()
184                 self.popupID3 = wx.NewId()
185                 self.popup_Tgen_glob = wx.NewId()
186                 self.onmaketgen = wx.NewId()
187                 self.ID_stcaract = wx.NewId()
188                 self.id_tgendetails = wx.NewId()
189
190                 self.Bind(wx.EVT_MENU, self.OnPopupOne, id = self.popupID1)
191                 self.Bind(wx.EVT_MENU, self.OnPopupTwo, id = self.popupID2)
192                 self.Bind(wx.EVT_MENU, self.OnPopupThree, id = self.popupID3)
193                 self.Bind(wx.EVT_MENU, self.OnTgen_glob, id = self.popup_Tgen_glob)
194                 self.Bind(wx.EVT_MENU, self.OnMakeTgen, id = self.onmaketgen)
195                 self.Bind(wx.EVT_MENU, self.OnTgenDetails, id = self.id_tgendetails)
196                 #self.Bind(wx.EVT_MENU, self.onstcaract, id = self.ID_stcaract)
197             # make a menu
198             menu = wx.Menu()
199             # add some items
200             menu.Append(self.popupID1, _(u"Associated forms").decode('utf8'))
201             menu.Append(self.popupID2, _(u"Concordance").decode('utf8'))
202             menu.Append(self.popupID3, _(u"Graphic").decode('utf8'))
203             menu_stcaract = wx.Menu()
204             self.menuid = {}
205             if not self.tgen :
206                 for i, et in enumerate(self.etoiles) :
207                     nid = wx.NewId()
208                     self.menuid[nid] = i
209                     menu_stcaract.Append(nid, et)
210                     self.Bind(wx.EVT_MENU, self.onstcaract, id = nid)
211                 menu.AppendMenu(-1, _(u"Typical text segments").decode('utf8'), menu_stcaract)
212                 menu.Append(self.onmaketgen, _(u"Make Tgen").decode('utf8'))
213             else :
214                 menu.Append(self.id_tgendetails, _(u'Tgen details').decode('utf8'))
215             self.PopupMenu(menu)
216             menu.Destroy()
217
218     def getselectedwords(self) :
219         words = [self.getColumnText(self.GetFirstSelected(), 0)]
220         last = self.GetFirstSelected()
221         while self.GetNextSelected(last) != -1:
222             last = self.GetNextSelected(last)
223             words.append(self.getColumnText(last, 0))
224         return words
225
226     def OnPopupOne(self, event):
227         activenotebook = self.parent.nb.GetSelection()
228         page = self.parent.nb.GetPage(activenotebook)
229         corpus = page.corpus
230         word = self.getselectedwords()[0]
231         lems = corpus.getlems()
232         rep = []
233         for forme in lems[word].formes :
234             rep.append([corpus.getforme(forme).forme, corpus.getforme(forme).freq])
235         rep.sort(key = itemgetter(1), reverse = True)
236         items = dict([[i, '<font face="courier">' + '\t:\t'.join([str(val) for val in forme]) + '</font>'] for i, forme in enumerate(rep)])
237         win = message(self, items, _(u"Associated forms").decode('utf8'), (300, 200))
238         #win = message(self, u"Formes associĆ©es", (300, 200))
239         #win.html = '<html>\n' + '<br>'.join([' : '.join([str(val) for val in forme]) for forme in rep]) + '\n</html>'
240         #win.HtmlPage.SetPage(win.html)
241         win.Show(True)
242     
243     def onstcaract(self, evt) :
244         ind = self.menuid[evt.Id]
245         limite = 50
246         minind = 2
247         activenotebook = self.parent.nb.GetSelection()
248         page = self.parent.nb.GetPage(activenotebook)
249         item=self.getColumnText(self.GetFirstSelected(), 0)
250         corpus = page.corpus
251         parametres = page.parametres
252         paneff = self.gparent.ListPanEff
253         panchi = self.gparent.ListPan
254         et = self.etoiles[ind]
255         uces = corpus.getucesfrometoile(et)
256         self.la = [panchi.dlist[i][0] for i in range(0, len(panchi.dlist)) if panchi.dlist[i][ind+1] >= minind ]
257         self.lchi = [panchi.dlist[i][ind+1] for i in range(0, len(panchi.dlist)) if panchi.dlist[i][ind+1] >= minind ]
258         if max(self.lchi) == float('inf') :
259             nchi = []
260             for val in self.lchi :
261                 if val == float('inf') :
262                     nchi.append(0)
263                 else :
264                     nchi.append(val)
265             nmax = max(nchi)
266             nchi = [val if val != float('inf') else nmax + 2 for val in self.lchi]
267             self.lchi = nchi
268         tab = corpus.make_pondtable_with_classe(uces, self.la)
269         tab.pop(0)
270         ntab = [round(sum([(self.lchi[i] * word) for i, word in enumerate(line) if word != 0]),2) for line in tab]
271         ntab2 = [[ntab[i], uces[i]] for i, val in enumerate(ntab) if ntab[i] != 0]
272         del ntab
273         ntab2.sort(reverse = True)
274         ntab2 = ntab2[:limite]
275         nuces = [val[1] for val in ntab2]
276         ucis_txt, ucestxt = doconcorde(corpus, nuces, self.la)
277         items = dict([[i, '<br>'.join([ucis_txt[i], '<table bgcolor = #1BF0F7 border=0><tr><td><b>score : %.2f</b></td></tr></table><br>' % ntab2[i][0], ucestxt[i]])] for i in range(0,len(ucestxt))])
278         win = message(self, items, ' - '.join([_(u"Typical text segments").decode('utf8'), "%s" % self.first[ind]]), (900, 600))
279         win.Show(True)
280         
281     def OnPopupTwo(self, event):
282         if 'nb' in dir(self.parent) :
283             activenotebook = self.parent.nb.GetSelection()
284             page = self.parent.nb.GetPage(activenotebook)
285             corpus = page.corpus
286         else :
287             corpus = self.parent.parent.parent.corpus
288         ira = wx.GetApp().GetTopWindow()
289         item=self.getColumnText(self.GetFirstSelected(), 0)
290         if not self.tgen :
291             uce_ok = corpus.getlemuces(item)
292             wordlist = [item]
293         else :
294             uce_ok = corpus.gettgenst(self.tgens[item])
295             wordlist = [val for val in self.tgens[item] if val in corpus.lems]
296         ucis_txt, ucestxt = doconcorde(corpus, uce_ok, wordlist)
297         items = dict([[i, '<br><br>'.join([ucis_txt[i], ucestxt[i]])] for i in range(0,len(ucestxt))])
298         win = message(ira, items, ' - '.join([_(u"Concordance").decode('utf8'), "%s" % item]), (800, 500), uceids = uce_ok)
299         win.Show(True)
300
301     def getinf(self, txt) :
302         if txt == float('Inf') :
303             return 'Inf'
304         elif txt == float('-Inf') :
305             return '-Inf'
306         else :
307             return `txt`
308
309     def OnPopupThree(self, event) :
310         datas = [self.GetItemData(self.GetFirstSelected())]
311         last = self.GetFirstSelected()
312         while self.GetNextSelected(last) != -1:
313             last = self.GetNextSelected(last)
314             data = self.GetItemData(last)
315             datas += [data]
316         colnames = self.first
317         table = [[self.getinf(val) for val in line[1:]] for line in datas]
318         rownames = [val[0] for val in datas]
319         BarFrame(self.parent, table, colnames, rownames)
320
321     def OnTgen_glob(self, evt) :
322         activenotebook = self.parent.nb.GetSelection()
323         page = self.parent.nb.GetPage(activenotebook)
324         corpus = page.corpus
325
326         tmpgraph = tempfile.mktemp(dir=self.parent.TEMPDIR)
327         intxt = """
328         load("%s")
329         """ % corpus.dictpathout['RData']
330         intxt += """
331         Tgen.glob = NULL
332         tovire <- NULL
333         for (i in 1:ncol(dmf)) {
334             Tgen.glob <- rbind(Tgen.glob,colSums(dmf[which(specf[,i] > 3),]))
335             tovire <- append(tovire, which(specf[,i] > 3))
336         }
337         rownames(Tgen.glob) <- colnames(dmf)
338         Tgen.table <- dmf[-unique(tovire),]
339         Tgen.table<- rbind(Tgen.table, Tgen.glob)
340         spec.Tgen.glob <- AsLexico2(Tgen.table)
341         spec.Tgen.glob <- spec.Tgen.glob[[1]][((nrow(Tgen.table)-ncol(Tgen.table))+1):nrow(Tgen.table),]
342         di <- spec.Tgen.glob
343         """
344         txt = barplot('', '', '', self.parent.RscriptsPath['Rgraph'], tmpgraph, intxt = intxt) 
345         tmpscript = tempfile.mktemp(dir=self.parent.TEMPDIR)
346         with open(tmpscript, 'w') as f :
347             f.write(txt)
348         exec_rcode(self.parent.RPath, tmpscript, wait = True)
349         win = MessageImage(self, -1, _(u"Graphic").decode('utf8'), size=(700, 500),style = wx.DEFAULT_FRAME_STYLE)
350         win.addsaveimage(tmpgraph)
351         txt = "<img src='%s'>" % tmpgraph
352         win.HtmlPage.SetPage(txt)
353         win.Show(True)
354     
355     def OnTgenDetails(self, evt):
356         if 'nb' in dir(self.parent) :
357             activenotebook = self.parent.nb.GetSelection()
358             page = self.parent.nb.GetPage(activenotebook)
359             corpus = page.corpus
360         else :
361             corpus = self.parent.parent.parent.corpus
362         ira = wx.GetApp().GetTopWindow()
363         item=self.getColumnText(self.GetFirstSelected(), 0)
364         wordlist = [val for val in self.tgens[item] if val in corpus.lems]
365         wordlist = dict(zip(wordlist,wordlist))
366         res = dict([[val, self.tgenlem[val]] for val in self.tgenlem if self.tgenlem[val][0] in wordlist])
367         win = ListLexFrame(self, ira, corpus, res, self.etoiles)
368         win.Show()
369         
370     
371     def OnMakeTgen(self, evt):
372         self.parent.tree.OnTgenEditor(self.getselectedwords())
373
374 class ListLexFrame ( wx.Frame ):
375     
376     def __init__( self, parent, ira, corpus, data, columns ):
377         wx.Frame.__init__ ( self, parent, id = wx.ID_ANY, title = wx.EmptyString, pos = wx.DefaultPosition, size = wx.Size( 500,300 ), style = wx.DEFAULT_FRAME_STYLE|wx.TAB_TRAVERSAL )
378         
379         self.SetSizeHintsSz( wx.DefaultSize, wx.DefaultSize )
380         
381         bSizer1 = wx.BoxSizer( wx.VERTICAL )
382         
383         
384         self.listlex = ListForSpec(self, ira, data, columns)
385         bSizer1.Add( self.listlex, 5, wx.ALL|wx.EXPAND, 5 )
386         
387         m_sdbSizer1 = wx.StdDialogButtonSizer()
388         self.m_sdbSizer1OK = wx.Button( self, wx.ID_OK )
389         m_sdbSizer1.AddButton( self.m_sdbSizer1OK )
390         self.m_sdbSizer1Cancel = wx.Button( self, wx.ID_CANCEL )
391         m_sdbSizer1.AddButton( self.m_sdbSizer1Cancel )
392         m_sdbSizer1.Realize();
393         
394         bSizer1.Add( m_sdbSizer1, 0, wx.EXPAND, 5 )
395         
396         
397         self.SetSizer( bSizer1 )
398         self.Layout()
399         
400         self.Centre( wx.BOTH )
401     
402     def __del__( self ):
403         pass