iramuteq.org Git - iramuteq/blob - tabchi2.py

   1 #!/bin/env python
   2 # -*- coding: utf-8 -*-
   3 #Author: Pierre Ratinaud
   4 #Copyright (c) 2010 Pierre Ratinaud
   5 #License: GNU/GPL
   6
   7 import HTML
   8 import os
   9 import string
  10 import wx
  11 import os
  12 import sys
  13 import tempfile
  14 from chemins import ffr,FFF
  15 import wx.lib.sized_controls as sc
  16 from time import sleep
  17 from functions import exec_rcode, check_Rresult
  18 from dialog import ChiDialog, PrefChi
  19 from analysematrix import AnalyseMatrix
  20
  21 def make_res(line) :
  22     if float(line[5]) <= 0.05 and line[6] != 'warning':
  23         line.append('green')
  24     elif float(line[5]) <= 0.05 and line[6] == 'warning':
  25         line.append('blue')
  26     else :
  27         line.append('red')
  28     return line
  29
  30 def clean_line(result) :
  31     return [[val for val in line if val != '**'] for line in result]
  32
  33 def make_table(tabs, tab_title, res) :
  34     return ['<br>'.join(['<font color=%s>%s</font>' % (res[i][-1], tab_title), HTML.table(tab)]) for i,tab in enumerate(tabs)]
  35
  36 def make_restab(res) :
  37     return ['<br>'.join(['<font color=%s>%s</font>'% (line[-1], u'Résultats'),HTML.table([['chi', line[3]],['p', line[5]]])]) for i,line in enumerate(res)]
  38
  39 def make_htmlgraphs(graphs) :
  40     return ['<img src=%s>' % os.path.basename(val) for val in graphs]
  41
  42 def make_link_list(res, text) :
  43     return ['<a name=back_%i></a><a href=#%i><font color=%s>%s</font></a>' % (i, i, chi[-1], text[i]) for i, chi in enumerate(res)]
  44
  45 def make_title(res, text) :
  46     return ['<a name=%i></a><br><font color=%s>%s</font><br><a href=#back_%i>retour</a><br>' % (i, val[-1], text[i], i) for i, val in enumerate(res)]
  47
  48
  49 chioption = { 'valobs' : True,
  50               'valtheo' : True,
  51               'resi' : False,
  52               'contrib' : True,
  53               'pourcent' : False,
  54               'pourcentl' : True,
  55               'pourcentc' : True,
  56               'graph' : True,
  57               'bw' : False,
  58               }
  59
  60 class ChiSquare(AnalyseMatrix):
  61     def doparametres(self, dlg = None):
  62         if dlg is None :
  63             return
  64         dial = ChiDialog(self.parent, -1, u"Chi2", chioption, self.tableau, size=(400, 350),
  65                      style = wx.DEFAULT_DIALOG_STYLE
  66                      )
  67         dial.CenterOnParent()
  68         val = dial.ShowModal()
  69         if val==wx.ID_OK :
  70             self.colsel1 = dial.list_box_1.GetSelections()
  71             self.colsel2 = dial.list_box_2.GetSelections()
  72             if dial.chiopt :
  73                 chioption['valobs'] = dial.dial.check1.GetValue()
  74                 chioption['valtheo'] = dial.dial.check2.GetValue()
  75                 chioption['resi'] = dial.dial.check3.GetValue()
  76                 chioption['contrib'] = dial.dial.check4.GetValue()
  77                 chioption['pourcent'] = dial.dial.check5.GetValue()
  78                 chioption['pourcentl'] = dial.dial.check6.GetValue()
  79                 chioption['pourcentc'] = dial.dial.check7.GetValue()
  80                 chioption['graph'] = dial.dial.check8.GetValue()
  81                 chioption['bw'] = dial.dial.checkbw.GetValue()
  82                 dial.dial.Destroy()
  83             dial.Destroy()
  84             self.parametres.update(chioption)
  85             self.chioption = chioption
  86         else :
  87             if dial.chiopt :
  88                 dial.dial.Destroy()
  89             dial.Destroy()
  90             self.parametres = None
  91
  92     def doanalyse(self):
  93         self.count = 1
  94         keepGoing = self.dlg.Update(self.count,u"Analyse dans R...")
  95         self.OutFrame=tempfile.mktemp(dir=self.parent.TEMPDIR)
  96         self.encode=self.parent.encode
  97         self.TEMPDIR=self.parent.TEMPDIR
  98         self.RPath=self.parent.PathPath.get('PATHS','rpath')
  99         self.TextCroise=[]
 100         for i in self.colsel1 :
 101             for j in self.colsel2 :
 102                 self.TextCroise.append(self.tableau.colnames[i] + ' / ' + self.tableau.colnames[j])
 103         rchioption = {}
 104         for val in self.chioption :
 105             if self.chioption[val]:
 106                 rchioption[val] = 'TRUE'
 107             else :
 108                 rchioption[val] = 'FALSE'
 109         txt="""
 110         source("%s")
 111         """%ffr(self.parent.RscriptsPath['Rfunct'])
 112         txt += """
 113         source("%s")
 114         """ % ffr(self.parent.RscriptsPath['Rgraph'])
 115         txt += """
 116         doobs <- %s
 117         doexp <- %s
 118         docontrib <- %s
 119         doresi <- %s
 120         dopr <- %s
 121         doprl <- %s
 122         doprc <- %s
 123         dograph <- %s
 124         bw <- %s
 125         """ % (rchioption['valobs'], rchioption['valtheo'], rchioption['contrib'], rchioption['resi'], rchioption['pourcent'], rchioption['pourcentl'], rchioption['pourcentc'], rchioption['graph'], rchioption['bw'])
 126         txt+="""
 127         datadm <- read.csv2("%s", encoding="%s", header = TRUE, row.names = 1, sep='\\t', quote = '"', na.string = '')
 128         listres<-list()
 129         listcol<-list()
 130         cont<-1
 131         """%(ffr(self.tableau.parametres['csvfile']), self.tableau.parametres['syscoding'])
 132         if len(self.colsel1)==1:
 133             strsel1=str(self.colsel1).replace(',','')
 134         else:
 135             strsel1=str(self.colsel1)
 136         if len(self.colsel2)==1:
 137             strsel2=str(self.colsel2).replace(',','')
 138         else:
 139             strsel2=str(self.colsel2)
 140         txt+="""
 141         for (i in c%s) {""" % strsel1
 142         txt+="""
 143             for (j in c%s) {""" % strsel2
 144         txt+="""
 145                 tab<-table(datadm[,i+1],datadm[,j+1])
 146                 if (min(dim(tab)) != 1) {
 147                     chi<-chisq.test(tab)
 148                     CS<-colSums(tab)
 149                     RS<-rowSums(tab)
 150                     GT<-sum(tab)
 151                     chi$contrib<-(tab-chi$expected)/sqrt(chi$expected * ((1 - RS/GT) %%*%% t(1 - CS/GT)))
 152                     listres[[cont]]<-chi
 153                     listcol[[cont]]<-ncol(tab)
 154                     cont<-cont+1
 155                 } else {
 156                     chi <- list(observed = tab, residuals = tab, contrib = tab, statistic = 0, p.value = 1, expected = tab, message = 'pas de calcul')
 157                     listres[[cont]] <- chi
 158                     listcol[[cont]]<-ncol(tab)
 159                     cont <- cont + 1
 160                 }
 161             }
 162         }
 163         maxcol<-max(unlist(listcol))+1
 164         if (maxcol<7) {maxcol<-7}
 165         frameout<-matrix('*',1,maxcol)
 166         count<-0
 167         for (chi in listres) {
 168             if (min(chi$expected)<5) {
 169                 att<-"warning"
 170             } else {
 171                 att<-""
 172             }
 173             if ('message' %%in%% attributes(chi)$names) {
 174                 att <- "Ce chi2 n\'a pas été calculé"
 175                 nom_colresi<-colnames(chi$observed)
 176                 chi$prl <- chi$expected
 177                 chi$prc <- chi$expected
 178                 st <- sum(chi$observed)
 179             } else {
 180                 nom_colresi<-colnames(chi$observed)
 181                 st <- sum(chi$observed)
 182                 sc <- colSums(chi$observed)
 183                 sr <- rowSums(chi$observed)
 184                 chi$prl <- round((chi$observed/sr)*100,2)
 185                 chi$prc <- t(round((t(chi$observed)/sc)*100,2))
 186             }
 187             fileout<-paste('histo_',count,sep='')
 188             fileout<-paste(fileout,'.png',sep='')
 189             count<-count+1
 190             fileout<-file.path("%s",fileout)
 191             if (max(nchar(colnames(chi$observed)))>15) {
 192                 leg <- 1:length(colnames(chi$observed))
 193             } else {
 194                 leg <- colnames(chi$observed)
 195             }
 196             if (dograph) {
 197                 width<-ncol(chi$observed)*100
 198                 if (width < 350) {width <- 350}
 199                 open_file_graph(fileout,width = width, height = 300)
 200                 par(mar=c(0,0,0,0))
 201                 layout(matrix(c(1,2),1,2, byrow=TRUE),widths=c(3,1))
 202                 par(mar=c(2,2,1,0))
 203                 par(cex=0.8)
 204                 if (!bw) colors <- rainbow(length(rownames(chi$observed)))
 205                 else colors <- gray.colors(length(rownames(chi$observed)))
 206                 barplot(chi$prl,names.arg = leg, beside=TRUE,border=NA, col=colors)
 207                 par(mar=c(0,0,0,0))
 208                 par(cex=0.8)
 209                 plot(0, axes = FALSE, pch = '')
 210                 legend(x = 'center' , rownames(chi$observed), fill = colors)
 211                 dev.off()
 212             }
 213             chi$prl <- cbind(chi$prl, total = rowSums(chi$prl))
 214             chi$prc <- rbind(chi$prc, total = colSums(chi$prc))
 215             chi$observed<-rbind(chi$observed,total=colSums(chi$observed))
 216             chi$observed<-cbind(chi$observed,total=rowSums(chi$observed))
 217             chi$pr <- round((chi$observed/st)*100,2)
 218             chi$expected<-rbind(chi$expected,total=colSums(chi$expected))
 219             chi$expected<-cbind(chi$expected,total=rowSums(chi$expected))
 220             chi$expected<-round(chi$expected,digits=2)
 221             chi$residuals<-round(chi$residuals,digits=2)
 222             chi$contrib<-round(chi$contrib, digits=2)
 223             nom_col<-colnames(chi$observed)
 224
 225             if (ncol(chi$observed)<maxcol) {
 226                 for (i in 1:(maxcol-ncol(chi$observed))) {
 227                     chi$observed<-cbind(chi$observed,'**')
 228                     chi$pr<-cbind(chi$pr,'**')
 229                     chi$prl<-cbind(chi$prl,'**')
 230                     chi$prc<-cbind(chi$prc,'**')
 231                     chi$expected<-cbind(chi$expected,'**')
 232                     chi$residuals<-cbind(chi$residuals,'**')
 233                     chi$contrib<-cbind(chi$contrib,'**')
 234                     nom_col<-append(nom_col,'**')
 235                     nom_colresi<-append(nom_colresi,'**')
 236                 }
 237                 chi$residuals<-cbind(chi$residuals,'**')
 238                 chi$contrib<-cbind(chi$contrib,'**')
 239                 nom_colresi<-append(nom_colresi,'**')
 240                 chi$prc<-cbind(chi$prc,'**')
 241             } else if (ncol(chi$observed)==maxcol) {
 242                 chi$residuals<-cbind(chi$residuals,'**')
 243                 chi$contrib<-cbind(chi$contrib,'**')
 244                 nom_colresi<-append(nom_colresi,'**')
 245                 chi$prc<-cbind(chi$prc,'**')
 246             }
 247             if (doobs) {
 248                 li<-matrix('*obs*',1,maxcol)
 249                 frameout<-rbind(frameout,li)
 250                 frameout<-rbind(frameout,nom_col)
 251                 frameout<-rbind(frameout,chi$observed)
 252             }
 253             if (doexp) {
 254                 li<-matrix('*exp*',1,maxcol)
 255                 frameout<-rbind(frameout,li)
 256                 frameout<-rbind(frameout,nom_col)
 257                 frameout<-rbind(frameout,chi$expected)
 258             }
 259             if (doresi) {
 260                 li<-matrix('*resi*',1,maxcol)
 261                 frameout<-rbind(frameout,li)
 262                 frameout<-rbind(frameout,nom_colresi)
 263                 frameout<-rbind(frameout,chi$residuals)
 264             }
 265             if (docontrib) {
 266                 li<-matrix('*contrib*',1,maxcol)
 267                 frameout<-rbind(frameout,li)
 268                 frameout<-rbind(frameout,nom_colresi)
 269                 frameout<-rbind(frameout,chi$contrib)
 270             }
 271             if (dopr) {
 272                 li<-matrix('*pr*', 1, maxcol)
 273                 frameout<-rbind(frameout,li)
 274                 frameout<-rbind(frameout,nom_col)
 275                 frameout<-rbind(frameout,chi$pr)
 276             }
 277             if (doprl) {
 278                 li<-matrix('*prl*', 1, maxcol)
 279                 frameout<-rbind(frameout,li)
 280                 frameout<-rbind(frameout,nom_col)
 281                 frameout<-rbind(frameout,chi$prl)
 282             }
 283             if (doprc) {
 284                 li<-matrix('*prc*', 1, maxcol)
 285                 frameout<-rbind(frameout,li)
 286                 frameout<-rbind(frameout,nom_colresi)
 287                 frameout<-rbind(frameout,chi$prc)
 288             }
 289             res<-c('****','chi',chi$statistic,'p',chi$p.value,att,fileout)
 290             frameout<-rbind(frameout,res)
 291         }
 292         li<-matrix('fin_analyse',1,maxcol)
 293         frameout<-rbind(frameout,li)
 294         write.csv2(frameout,file="%s")
 295         """ % (ffr(self.parametres['pathout']),ffr(self.OutFrame))
 296         tmpfile=tempfile.mktemp(dir=self.TEMPDIR)
 297         print tmpfile
 298         tmpscript=open(tmpfile,'w')
 299         tmpscript.write(txt)
 300         tmpscript.close()
 301         pid = exec_rcode(self.RPath, tmpfile, wait = False)
 302         while pid.poll() == None :
 303             sleep(0.2)
 304         check_Rresult(self.parent, pid)
 305         self.count += 1
 306         keepGoing = self.dlg.Update(self.count,u"Ecriture des résultats")
 307
 308         listfileout = self.dolayout(self.chioption)
 309             #listfileout=dlg.ShowChi2(ColSel1,ColSel2)
 310             #parent.FreqNum += 1
 311             #parent.DictTab[u"Chi2_%s*"%parent.FreqNum]=listfileout
 312 #             parent.newtab = wx.html.HtmlWindow(parent.nb, -1)
 313 #             if "gtk2" in wx.PlatformInfo:
 314 #                 parent.newtab.SetStandardFonts()
 315 #             parent.newtab.LoadPage(listfileout[len(listfileout)-1])
 316 #             parent.nb.AddPage(parent.newtab,u"Chi2_%s*"%parent.FreqNum)
 317 #             parent.nb.SetSelection(parent.nb.GetPageCount()-1)
 318 #             parent.ShowTab(wx.EVT_BUTTON)
 319 #             parent.DisEnSaveTabAs(True)
 320 #        self.count += 1
 321 #        keepGoing = self.dlg.Update(self.count,u"Fini")
 322
 323     def dolayout(self, option):
 324         ListFile=[False]
 325         file=open(self.OutFrame,'rU')
 326         content=file.readlines()
 327         file.close()
 328         lcont = [line.replace('"','').replace('\n','').split(';') for line in content]
 329
 330         lcont.pop(0)
 331         lcont.pop(0)
 332
 333         allcoord = []
 334         names = []
 335
 336         res = [chi for chi in lcont if chi[0]=='res']
 337         res = [make_res(line) for line in res]
 338         coord_res = [i for i,chi in enumerate(lcont) if chi[0]=='res']
 339         if option['valobs']:
 340             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*obs*'])
 341             names.append(u'Valeurs observées')
 342         if option['valtheo'] :
 343             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*exp*'])
 344             names.append(u'Valeurs théoriques')
 345         if option['resi'] :
 346             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*resi*'])
 347             names.append(u'Residuals')
 348         if option['contrib'] :
 349             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*contrib*'])
 350             names.append(u'Contributions a posteriori')
 351         if option['pourcent'] :
 352             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*pr*'])
 353             names.append(u'Pourcentages')
 354         if option['pourcentl'] :
 355             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*prl*'])
 356             names.append(u'Pourcentages en ligne')
 357         if option['pourcentc'] :
 358             allcoord.append([i for i,chi in enumerate(lcont) if chi[1]=='*prc*'])
 359             names.append(u'Pourcentages en colonne')
 360
 361         allcoord.append(coord_res)
 362         allhtml = [[clean_line(lcont[allcoord[i][j]+1:allcoord[i+1][j]]) for j, line in enumerate(allcoord[i])] for i, tab in enumerate(allcoord) if i!=len(allcoord)-1]
 363         allhtml = [make_table(val,names[i],res) for i,val in enumerate(allhtml)]
 364         links = make_link_list(res, self.TextCroise)
 365         html_res = make_restab(res)
 366         allhtml.insert(0,html_res)
 367         titles = make_title(res, self.TextCroise)
 368         allhtml.insert(0,titles)
 369
 370         if option['graph'] :
 371             graphs = [line[7] for line in res]
 372             ListFile += graphs
 373             html_graphs = make_htmlgraphs(graphs)
 374             allhtml.append(html_graphs)
 375
 376         header=u"""
 377         <html>\n
 378         <meta http-equiv="content-Type" content="text/html; charset=%s" />\n
 379         <body>\n
 380         <h1>Test du Chi2</h1>\n
 381         <br>
 382         <table border=1><tr><td>
 383         Légende : <br>
 384         <font color=green>p &lt;= 0.05</font><br>
 385         <font color=blue>p &lt;= 0.05 mais il y a des valeurs théoriques &lt; 5</font><br>
 386         <font color=red>p &gt; 0.05</font>
 387         </td></tr></table><br><br>
 388         """%self.parent.SysEncoding
 389
 390         pretxt = '<br>\n'.join(links)+'<br><hr><br>\n'
 391         txt = '<br><hr><br>\n'.join(['<br><br>'.join([tab[i] for tab in allhtml]) for i,val in enumerate(res)])
 392         txt = header + pretxt + txt + '\n</body></html>'
 393
 394         fileout=os.path.join(self.parametres['pathout'],'resultats-chi2.html')
 395         with open(fileout, 'w') as f :
 396             f.write(txt)
 397         ListFile.append(fileout)
 398         return ListFile