lot of things :)
[iramuteq] / PrintRScript.py
1 # -*- coding: utf-8 -*-
2 #Author: Pierre Ratinaud
3 #Copyright (c) 2008-2011 Pierre Ratinaud
4 #Lisense: GNU/GPL
5
6 import tempfile
7 from chemins import ffr
8 import os
9 import locale
10 from datetime import datetime
11 import logging
12
13 log = logging.getLogger('iramuteq.printRscript')
14
15 class PrintRScript :
16     def __init__ (self, analyse):
17         log.info('Rscript')
18         self.pathout = analyse.pathout
19         self.analyse = analyse
20         self.parametres = analyse.parametres
21         self.scriptout = self.pathout['temp']
22         self.script =  u"#Script genere par IRaMuTeQ - %s\n" % datetime.now().ctime()
23     
24     def add(self, txt) :
25         self.script = '\n'.join([self.script, txt])
26     
27     def defvar(self, name, value) :
28         self.add(' <- '.join([name, value]))
29
30     def defvars(self, lvars) :
31         for val in lvars :
32             self.defvar(val[0],val[1])
33
34     def sources(self, lsources) :
35         for source in lsources :
36             self.add('source("%s", encoding = \'utf8\')' % source)
37
38     def packages(self, lpks) :
39         for pk in lpks :
40             self.add('library(%s)' % pk)
41
42     def load(self, l) :
43         for val in l :
44             self.add('load("%s")' % val)
45
46     def write(self) :
47         with open(self.scriptout, 'w') as f :
48             f.write(self.script)
49
50
51 class chdtxt(PrintRScript) :
52     pass
53
54 def Rcolor(color) :
55     return str(color).replace(')', ', max=255)')
56
57 class Alceste2(PrintRScript) :
58     def doscript(self) :
59         self.sources(['chdfunct'])
60         self.load(['Rdata'])
61         lvars = [['clnb', `self.analyse.clnb`], 
62                 ['Contout', '"%s"' % self.pathout['Contout']],
63                 ['ContSupOut', '"%s"' % self.pathout['ContSupOut']],
64                 ['ContEtOut', '"%s"' % self.pathout['ContEtOut']],
65                 ['profileout', '"%s"' % self.pathout['profils.csv']],
66                 ['antiout', '"%s"' % self.pathout['antiprofils.csv']],
67                 ['chisqtable', '"%s"' % self.pathout['chisqtable.csv']],
68                 ['ptable', '"%s"' % self.pathout['ptable.csv']]]
69        
70         self.defvars(lvars) 
71
72
73
74 #    txt = "clnb<-%i\n" % clnb
75 #    txt += """
76 #source("%s")
77 #load("%s")
78 #""" % (RscriptsPath['chdfunct'], DictChdTxtOut['RData'])
79 #    txt += """
80 #dataact<-read.csv2("%s", header = FALSE, sep = ';',quote = '\"', row.names = 1, na.strings = 'NA')
81 #datasup<-read.csv2("%s", header = FALSE, sep = ';',quote = '\"', row.names = 1, na.strings = 'NA')
82 #dataet<-read.csv2("%s", header = FALSE, sep = ';',quote = '\"', row.names = 1, na.strings = 'NA')
83 #""" % (DictChdTxtOut['Contout'], DictChdTxtOut['ContSupOut'], DictChdTxtOut['ContEtOut'])
84 #    txt += """
85 #tablesqrpact<-BuildProf(as.matrix(dataact),n1,clnb)
86 #tablesqrpsup<-BuildProf(as.matrix(datasup),n1,clnb)
87 #tablesqrpet<-BuildProf(as.matrix(dataet),n1,clnb)
88 #"""
89 #    txt += """
90 #PrintProfile(n1,tablesqrpact[4],tablesqrpet[4],tablesqrpact[5],tablesqrpet[5],clnb,"%s","%s",tablesqrpsup[4],tablesqrpsup[5])
91 #""" % (DictChdTxtOut['PROFILE_OUT'], DictChdTxtOut['ANTIPRO_OUT'])
92 #    txt += """
93 #colnames(tablesqrpact[[2]])<-paste('classe',1:clnb,sep=' ')
94 #colnames(tablesqrpact[[1]])<-paste('classe',1:clnb,sep=' ')
95 #colnames(tablesqrpsup[[2]])<-paste('classe',1:clnb,sep=' ')
96 #colnames(tablesqrpsup[[1]])<-paste('classe',1:clnb,sep=' ')
97 #colnames(tablesqrpet[[2]])<-paste('classe',1:clnb,sep=' ')
98 #colnames(tablesqrpet[[1]])<-paste('classe',1:clnb,sep=' ')
99 #chistabletot<-rbind(tablesqrpact[2][[1]],tablesqrpsup[2][[1]])
100 #chistabletot<-rbind(chistabletot,tablesqrpet[2][[1]])
101 #ptabletot<-rbind(tablesqrpact[1][[1]],tablesqrpet[1][[1]])
102 #"""
103 #    txt += """
104 #write.csv2(chistabletot,file="%s")
105 #write.csv2(ptabletot,file="%s")
106 #gbcluster<-n1
107 #write.csv2(gbcluster,file="%s")
108 #""" % (DictChdTxtOut['chisqtable'], DictChdTxtOut['ptable'], DictChdTxtOut['SbyClasseOut'])
109 #
110
111
112 def RchdTxt(DicoPath, RscriptPath, mincl, classif_mode, nbt = 9, svdmethod = 'svdR', libsvdc = False, libsvdc_path = None, R_max_mem = False, mode_patate = False):
113     txt = """
114     source("%s")
115     source("%s")
116     source("%s")
117     source("%s")
118     """ % (RscriptPath['CHD'], RscriptPath['chdtxt'], RscriptPath['anacor'], RscriptPath['Rgraph'])
119     if R_max_mem :
120         txt += """
121     memory.limit(%i)
122         """ % R_max_mem
123
124     txt += """
125     nbt <- %i
126     """ % nbt
127     if svdmethod == 'svdlibc' and libsvdc :
128         txt += """
129         svd.method <- 'svdlibc'
130         libsvdc.path <- "%s"
131         """ % ffr(libsvdc_path)
132     elif svdmethod == 'irlba' :
133         txt += """
134         library(irlba)
135         svd.method <- 'irlba'
136         libsvdc.path <- NULL
137         """
138     else :
139         txt += """
140         svd.method = 'svdR'
141         libsvdc.path <- NULL
142         """
143     if mode_patate :
144         txt += """
145         mode.patate = TRUE
146         """
147     else :
148         txt += """
149         mode.patate = FALSE
150         """
151     txt +="""
152     library(Matrix)
153     data1 <- readMM("%s")
154     data1 <- as(data1, "dgCMatrix")
155     row.names(data1) <- 1:nrow(data1)
156     """ % DicoPath['TableUc1']
157     
158     if classif_mode == 0:
159         txt += """
160         data2 <- readMM("%s")
161         data2 <- as(data2, "dgCMatrix")
162         row.names(data2) <- 1:nrow(data2)
163         """ % DicoPath['TableUc2']
164     txt += """
165     chd1<-CHD(data1, x = nbt, mode.patate = mode.patate, svd.method = svd.method, libsvdc.path = libsvdc.path)
166     """
167     
168     if classif_mode == 0:
169         txt += """
170     chd2<-CHD(data2, x = nbt, mode.patate = mode.patate, svd.method = svd.method, libsvdc.path = libsvdc.path)
171     """
172     else:
173         txt += """
174     chd2<-chd1
175     """    
176     
177     txt += """
178     #lecture des uce
179     listuce1<-read.csv2("%s")
180     """ % DicoPath['listeuce1']
181     
182     if classif_mode == 0:
183         txt += """
184         listuce2<-read.csv2("%s")
185         """ % DicoPath['listeuce2']
186         
187     txt += """
188     rm(data1)
189     """
190     
191     if classif_mode == 0:
192         txt += """
193         rm(data2)
194         """
195     txt += """
196     classif_mode <- %i
197     mincl <- %i
198     uceout <- "%s"
199     if (classif_mode == 0) {
200         chd.result <- Rchdtxt(uceout, chd1, chd2 = chd2, mincl = mincl,classif_mode = classif_mode, nbt = nbt)
201     } else {
202         chd.result <- Rchdtxt(uceout, chd1, chd2 = chd1, mincl = mincl,classif_mode = classif_mode, nbt = nbt)
203     }
204     n1 <- chd.result$n1
205     classeuce1 <- chd.result$cuce1
206     classeuce2 <- chd.result$cuce2
207     """ % (classif_mode, mincl, DicoPath['uce'])
208     
209     txt += """
210     tree.tot1 <- make_tree_tot(chd1)
211 #    open_file_graph("%s", widt = 600, height=400)
212 #    plot(tree.tot1$tree.cl)
213 #    dev.off()
214     """%DicoPath['arbre1']
215     
216     if classif_mode == 0:
217         txt += """
218         tree.tot2 <- make_tree_tot(chd2)
219 #        open_file_graph("%s", width = 600, height=400)
220 #        plot(tree.tot2$tree.cl)
221 #        dev.off()
222         """ % DicoPath['arbre2']  
223               
224     txt += """
225     tree.cut1 <- make_dendro_cut_tuple(tree.tot1$dendro_tuple, chd.result$coord_ok, classeuce1, 1, nbt)
226     save(tree.cut1, file="%s")
227     classes<-n1[,ncol(n1)]
228     open_file_graph("%s", width = 600, height=400)
229     plot.dendropr(tree.cut1$tree.cl,classes, histo=TRUE)
230     open_file_graph("%s", width = 600, height=400)
231     plot(tree.cut1$dendro_tot_cl)
232     dev.off()
233     """ % (DicoPath['Rdendro'], DicoPath['dendro1'], DicoPath['arbre1'])
234     
235     if classif_mode == 0:
236         txt += """
237         tree.cut2 <- make_dendro_cut_tuple(tree.tot2$dendro_tuple, chd.result$coord_ok, classeuce2, 2, nbt)
238         open_file_graph("%s", width = 600, height=400)
239         plot(tree.cut2$tree.cl)
240         dev.off()
241         open_file_graph("%s", width = 600, height=400)
242         plot(tree.cut1$dendro_tot_cl)
243         dev.off()
244         """ % (DicoPath['dendro2'], DicoPath['arbre2'])
245         
246     txt += """
247     save.image(file="%s")
248     """ % DicoPath['RData']
249     fileout = open(DicoPath['Rchdtxt'], 'w')
250     fileout.write(txt)
251     fileout.close()
252
253 def RPamTxt(corpus, RscriptPath):
254     DicoPath = corpus.pathout
255     param = corpus.parametres
256     txt = """
257     source("%s")
258     """ % (RscriptPath['pamtxt'])
259     txt += """
260     source("%s")
261     """ % (RscriptPath['Rgraph'])
262     txt += """
263     result <- pamtxt("%s", "%s", "%s", method = "%s", clust_type = "%s", clnb = %i)
264     n1 <- result$uce
265     """ % (DicoPath['TableUc1'], DicoPath['listeuce1'], DicoPath['uce'], param['method'], param['cluster_type'], param['nbcl'] )
266     txt += """
267     open_file_graph("%s", width=400, height=400)
268     plot(result$cl)
269     dev.off()
270     """ % (DicoPath['arbre1'])
271     txt += """
272     save.image(file="%s")
273     """ % DicoPath['RData']
274     fileout = open(DicoPath['Rchdtxt'], 'w')
275     fileout.write(txt)
276     fileout.close()
277     
278
279 def RchdQuest(DicoPath, RscriptPath, nbcl = 10, mincl = 10):
280     txt = """
281     source("%s")
282     source("%s")
283     source("%s")
284     source("%s")
285     """ % (RscriptPath['CHD'], RscriptPath['chdquest'], RscriptPath['anacor'],RscriptPath['Rgraph'])
286
287     txt += """
288     nbt <- %i - 1
289     mincl <- %i
290     """ % (nbcl, mincl)
291
292     txt += """
293     chd.result<-Rchdquest("%s","%s","%s", nbt = nbt, mincl = mincl)
294     n1 <- chd.result$n1
295     classeuce1 <- chd.result$cuce1
296     """ % (DicoPath['mat01'], DicoPath['listeuce1'], DicoPath['uce'])
297     
298     txt += """
299     tree_tot1 <- make_tree_tot(chd.result$chd)
300     open_file_graph("%s", width = 600, height=400)
301     plot(tree_tot1$tree.cl)
302     dev.off()
303     """%DicoPath['arbre1']
304     
305     txt += """
306     tree_cut1 <- make_dendro_cut_tuple(tree_tot1$dendro_tuple, chd.result$coord_ok, classeuce1, 1, nbt)
307     tree.cut1 <- tree_cut1
308     save(tree.cut1, file="%s")
309     open_file_graph("%s", width = 600, height=400)
310     classes<-n1[,ncol(n1)]
311     plot.dendropr(tree_cut1$tree.cl,classes, histo = TRUE)
312     """ % (DicoPath['Rdendro'],DicoPath['dendro1'])
313     
314     txt += """
315     save.image(file="%s")
316     """ % DicoPath['RData']
317     fileout = open(DicoPath['Rchdquest'], 'w')
318     fileout.write(txt)
319     fileout.close()
320     
321 def AlcesteTxtProf(DictChdTxtOut, RscriptsPath, clnb, taillecar):
322     txt = "clnb<-%i\n" % clnb
323     txt += """
324 source("%s")
325 load("%s")
326 """ % (RscriptsPath['chdfunct'], DictChdTxtOut['RData'])
327     txt += """
328 dataact<-read.csv2("%s", header = FALSE, sep = ';',quote = '\"', row.names = 1, na.strings = 'NA')
329 datasup<-read.csv2("%s", header = FALSE, sep = ';',quote = '\"', row.names = 1, na.strings = 'NA')
330 dataet<-read.csv2("%s", header = FALSE, sep = ';',quote = '\"', row.names = 1, na.strings = 'NA')
331 """ % (DictChdTxtOut['Contout'], DictChdTxtOut['ContSupOut'], DictChdTxtOut['ContEtOut'])
332     txt += """
333 tablesqrpact<-BuildProf(as.matrix(dataact),n1,clnb)
334 tablesqrpsup<-BuildProf(as.matrix(datasup),n1,clnb)
335 tablesqrpet<-BuildProf(as.matrix(dataet),n1,clnb)
336 """
337     txt += """
338 PrintProfile(n1,tablesqrpact[4],tablesqrpet[4],tablesqrpact[5],tablesqrpet[5],clnb,"%s","%s",tablesqrpsup[4],tablesqrpsup[5])
339 """ % (DictChdTxtOut['PROFILE_OUT'], DictChdTxtOut['ANTIPRO_OUT'])
340     txt += """
341 colnames(tablesqrpact[[2]])<-paste('classe',1:clnb,sep=' ')
342 colnames(tablesqrpact[[1]])<-paste('classe',1:clnb,sep=' ')
343 colnames(tablesqrpsup[[2]])<-paste('classe',1:clnb,sep=' ')
344 colnames(tablesqrpsup[[1]])<-paste('classe',1:clnb,sep=' ')
345 colnames(tablesqrpet[[2]])<-paste('classe',1:clnb,sep=' ')
346 colnames(tablesqrpet[[1]])<-paste('classe',1:clnb,sep=' ')
347 chistabletot<-rbind(tablesqrpact[2][[1]],tablesqrpsup[2][[1]])
348 chistabletot<-rbind(chistabletot,tablesqrpet[2][[1]])
349 ptabletot<-rbind(tablesqrpact[1][[1]],tablesqrpet[1][[1]])
350 """
351     txt += """
352 write.csv2(chistabletot,file="%s")
353 write.csv2(ptabletot,file="%s")
354 gbcluster<-n1
355 write.csv2(gbcluster,file="%s")
356 """ % (DictChdTxtOut['chisqtable'], DictChdTxtOut['ptable'], DictChdTxtOut['SbyClasseOut'])
357     if clnb > 2 :
358         txt += """
359     library(ca)
360     colnames(dataact)<-paste('classe',1:clnb,sep=' ')
361     colnames(datasup)<-paste('classe',1:clnb,sep=' ')
362     colnames(dataet)<-paste('classe',1:clnb,sep=' ')
363     rowtot<-nrow(dataact)+nrow(dataet)+nrow(datasup)
364     afctable<-rbind(as.matrix(dataact),as.matrix(datasup))
365     afctable<-rbind(afctable,as.matrix(dataet))
366     colnames(afctable)<-paste('classe',1:clnb,sep=' ')
367     afc<-ca(afctable,suprow=((nrow(dataact)+1):rowtot),nd=(ncol(afctable)-1))
368     debsup<-nrow(dataact)+1
369     debet<-nrow(dataact)+nrow(datasup)+1
370     fin<-rowtot
371     afc<-AddCorrelationOk(afc)
372     """
373     #FIXME : split this!!!
374         txt += """
375     source("%s")
376     """ % RscriptsPath['Rgraph']
377     
378         txt += """
379         afc <- summary.ca.dm(afc)
380         afc_table <- create_afc_table(afc)
381         write.csv2(afc_table$facteur, file = "%s")
382         write.csv2(afc_table$colonne, file = "%s")
383         write.csv2(afc_table$ligne, file = "%s")
384         """ % (DictChdTxtOut['afc_facteur'], DictChdTxtOut['afc_col'], DictChdTxtOut['afc_row'])
385     
386         txt += """
387     PARCEX<-%s
388     """ % taillecar
389         txt += """
390     xyminmax <- PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", what='coord', deb=1, fin=(debsup-1), xlab = xlab, ylab = ylab)
391     """ % (DictChdTxtOut['AFC2DL_OUT'])
392         txt += """
393     PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", what='coord', deb=debsup, fin=(debet-1), xlab = xlab, ylab = ylab, xmin = xyminmax$xminmax[1], xmax = xyminmax$xminmax[2], ymin = xyminmax$yminmax[1], ymax = xyminmax$yminmax[2])
394     """ % (DictChdTxtOut['AFC2DSL_OUT'])
395         txt += """
396         if ((fin - debet) > 2) {
397     PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", what='coord', deb=debet, fin=fin, xlab = xlab, ylab = ylab, xmin = xyminmax$xminmax[1], xmax = xyminmax$xminmax[2], ymin = xyminmax$yminmax[1], ymax = xyminmax$yminmax[2])
398         }
399     """ % (DictChdTxtOut['AFC2DEL_OUT'])
400         txt += """
401     PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", col=TRUE, what='coord', xlab = xlab, ylab = ylab, xmin = xyminmax$xminmax[1], xmax = xyminmax$xminmax[2], ymin = xyminmax$yminmax[1], ymax = xyminmax$yminmax[2])
402     """ % (DictChdTxtOut['AFC2DCL_OUT'])
403 #        txt += """
404  #   PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", what='crl', deb=1, fin=(debsup-1), xlab = xlab, ylab = ylab)
405  #   PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", what='crl', deb=debsup, fin=(debet-1), xlab = xlab, ylab = ylab)
406   #  PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", what='crl', deb=debet, fin=fin, xlab = xlab, ylab = ylab)
407  #   PlotAfc2dCoul(afc, as.data.frame(chistabletot), "%s", col=TRUE, what='crl', xlab = xlab, ylab = ylab)
408  #   """ % (DictChdTxtOut['AFC2DCoul'], DictChdTxtOut['AFC2DCoulSup'], DictChdTxtOut['AFC2DCoulEt'], DictChdTxtOut['AFC2DCoulCl'])
409        
410     txt += """
411 #rm(dataact)
412 #rm(datasup)
413 #rm(dataet)
414 rm(tablesqrpact)
415 rm(tablesqrpsup)
416 rm(tablesqrpet)
417 save.image(file="%s")
418 """ % DictChdTxtOut['RData']
419     file = open(DictChdTxtOut['RTxtProfGraph'], 'w')
420     file.write(txt)
421     file.close()
422
423
424 def write_afc_graph(self):
425     if self.param['over'] : over = 'TRUE'
426     else : over = 'FALSE'
427
428     if self.param['do_select_nb'] : do_select_nb = 'TRUE'
429     else : do_select_nb = 'FALSE'
430
431     if self.param['do_select_chi'] : do_select_chi = 'TRUE'
432     else : do_select_chi = 'FALSE'
433
434     if self.param['do_select_chi_classe'] : do_select_chi_classe = 'TRUE'
435     else : do_select_chi_classe = 'FALSE'
436
437     if self.param['cex_txt'] : cex_txt = 'TRUE'
438     else : cex_txt = 'FALSE'
439
440     if self.param['tchi'] : tchi = 'TRUE'
441     else : tchi = 'FALSE'
442
443     if self.param['svg'] : svg = 'TRUE'
444     else : svg = 'FALSE'
445
446     with open(self.RscriptsPath['afc_graph'], 'r') as f:
447         txt = f.read()
448
449 #    self.DictPathOut['RData'], \
450     scripts = txt % (self.RscriptsPath['Rgraph'],\
451     self.param['typegraph'], \
452     self.param['what'], \
453     self.param['facteur'][0],\
454     self.param['facteur'][1], \
455     self.param['facteur'][2], \
456     self.param['qui'], \
457     over,  do_select_nb, \
458     self.param['select_nb'],  \
459     do_select_chi, \
460     self.param['select_chi'], \
461     do_select_chi_classe, \
462     self.param['nbchic'], \
463     cex_txt, \
464     self.param['txt_min'], \
465     self.param['txt_max'], \
466     self.fileout, \
467     self.param['width'], \
468     self.param['height'],\
469     self.param['taillecar'], \
470     self.param['alpha'], \
471     self.param['film'], \
472     tchi,\
473     self.param['tchi_min'],\
474     self.param['tchi_max'],\
475     ffr(os.path.dirname(self.fileout)),\
476     svg)
477     return scripts
478         
479 def print_simi3d(self):
480     simi3d = self.parent.simi3dpanel
481     txt = '#Fichier genere par Iramuteq'
482     if simi3d.movie.GetValue() :
483         movie = "'" + ffr(os.path.dirname(self.DictPathOut['RData'])) + "'"
484     else :
485         movie = 'NULL'
486     
487     #if self.corpus.parametres['type'] == 'corpus' :
488     #    header = 'TRUE'
489     #else :
490     #    header = 'FALSE'
491     header = 'FALSE'
492     txt += """
493     dm<-read.csv2("%s",row.names=1,header = %s)
494     load("%s")
495     """ % (self.DictPathOut['Contout'], header, self.DictPathOut['RData'])
496     
497     txt += """
498     source("%s")
499     """ % self.parent.RscriptsPath['Rgraph']
500
501
502     txt += """
503     make.simi.afc(dm,chistabletot, lim=%i, alpha = %.2f, movie = %s)
504     """ % (simi3d.spin_1.GetValue(), float(simi3d.slider_1.GetValue())/100, movie)
505     tmpfile = tempfile.mktemp(dir=self.parent.TEMPDIR)
506     tmp = open(tmpfile,'w')
507     tmp.write(txt)
508     tmp.close()
509     return tmpfile
510
511 def dendroandbarplot(table, rownames, colnames, rgraph, tmpgraph, intxt = False, dendro=False) :
512     if not intxt :
513         txttable = 'c(' + ','.join([','.join(line) for line in table]) + ')'
514     rownb = len(rownames)
515     rownames = 'c("' + '","'.join(rownames) + '")'
516     colnames = 'c("' + '","'.join(colnames) + '")'
517     if not intxt :
518         #FIXME
519         txt = """
520             di <- matrix(data=%s, nrow=%i, byrow = TRUE)
521             rownames(di)<- %s
522             colnames(di) <- %s
523         """ % (txttable, rownb, rownames, colnames)
524     else :
525         txt = intxt
526     txt += """
527         load("%s")
528         library(ape)
529         source("%s")
530         height <- (30*ncol(di)) + (15*nrow(di))
531         height <- ifelse(height <= 400, 400, height)
532         width <- 500
533         open_file_graph("%s", width=width, height=height)
534         plot.dendro.lex(tree.cut1$tree.cl, di)
535         """ % (ffr(dendro),ffr(rgraph),  ffr(tmpgraph))
536     return txt
537
538 def barplot(table, rownames, colnames, rgraph, tmpgraph, intxt = False) :
539     if not intxt :
540         txttable = 'c(' + ','.join([','.join(line) for line in table]) + ')'
541     #width = 100 + (15 * len(rownames)) + (100 * len(colnames))
542     #height =  len(rownames) * 15
543     rownb = len(rownames)
544     #if height < 400 :
545     #    height = 400
546     rownames = 'c("' + '","'.join(rownames) + '")'
547     colnames = 'c("' + '","'.join(colnames) + '")'
548
549     if not intxt :
550         #FIXME
551         txt = """
552             di <- matrix(data=%s, nrow=%i, byrow = TRUE)
553             toinf <- which(di == Inf)
554             tominf <- which(di == -Inf)
555             if (length(toinf)) {
556                 di[toinf] <- NA
557                 valmax <- max(di, na.rm = TRUE)
558                 if (valmax <= 0) {
559                     valmax <- 2
560                 } else {
561                     valmax <- valmax + 2
562                 }
563                 di[toinf] <- valmax
564             }
565             if (length(tominf)) {
566                 di[tominf] <- NA
567                 valmin <- min(di, na.rm = TRUE)
568                 if (valmin >=0) {
569                     valmin <- -2
570                 } else {
571                     valmin <- valmin - 2
572                 }
573                 di[tominf] <- valmin
574             }
575             rownames(di)<- %s
576             colnames(di) <- %s
577         """ % (txttable, rownb, rownames, colnames)
578     else :
579         txt = intxt
580     txt += """
581         source("%s")
582         color = rainbow(nrow(di))
583         width <- 100 + (20*length(rownames(di))) + (100 * length(colnames(di)))
584         height <- nrow(di) * 15
585         if (height < 400) { height <- 400}
586         open_file_graph("%s",width = width, height = height)
587         par(mar=c(0,0,0,0))
588             layout(matrix(c(1,2),1,2, byrow=TRUE),widths=c(3,lcm(7)))
589         par(mar=c(2,2,1,0))
590         yp = ifelse(length(toinf), 0.2, 0)
591         ym = ifelse(length(tominf), 0.2, 0)
592         ymin <- ifelse(!length(which(di < 0)), 0, min(di) - ym)
593         coord <- barplot(as.matrix(di), beside = TRUE, col = color, space = c(0.1,0.6), ylim=c(ymin, max(di) + yp))
594         if (length(toinf)) {
595             coordinf <- coord[toinf]
596             valinf <- di[toinf]
597             text(x=coordinf, y=valinf + 0.1, 'i')
598         }
599         if (length(tominf)) {
600             coordinf <- coord[toinf]
601             valinf <- di[toinf]
602             text(x=coordinf, y=valinf - 0.1, 'i')
603         }            
604         c <- colMeans(coord)
605         c1 <- c[-1]
606         c2 <- c[-length(c)]
607         cc <- cbind(c1,c2)
608         lcoord <- apply(cc, 1, mean)
609         abline(v=lcoord)
610         if (min(di) < 0) {
611             amp <- abs(max(di) - min(di))
612         } else {
613             amp <- max(di)
614         }
615         if (amp < 10) {
616             d <- 2
617         } else {
618             d <- signif(amp%%/%%10,1)
619         }
620         mn <- round(min(di))
621         mx <- round(max(di))
622         for (i in mn:mx) {
623             if ((i/d) == (i%%/%%d)) { 
624                 abline(h=i,lty=3)
625             }
626         }
627         par(mar=c(0,0,0,0))
628         plot(0, axes = FALSE, pch = '')
629         legend(x = 'center' , rownames(di), fill = color)
630         dev.off()
631         """ % (rgraph, ffr(tmpgraph))    
632     return txt
633
634 #def RAfcUci(DictAfcUciOut, nd=2, RscriptsPath='', PARCEX='0.8'):
635 #    txt = """
636 #    library(ca)
637 #    nd<-%i
638 #    """ % nd
639 #    txt += """
640 #    dataact<-read.csv2("%s")
641 #    """ % (DictAfcUciOut['TableCont'])#, encoding)
642 #    txt += """
643 #    datasup<-read.csv2("%s")
644 #    """ % (DictAfcUciOut['TableSup'])#, encoding)
645 #    txt += """
646 #    dataet<-read.csv2("%s")
647 #    """ % (DictAfcUciOut['TableEt'])#, encoding)
648 #    txt += """
649 #    datatotsup<-cbind(dataact,datasup)
650 #    datatotet<-cbind(dataact,dataet)
651 #    afcact<-ca(dataact,nd=nd)
652 #    afcsup<-ca(datatotsup,supcol=((ncol(dataact)+1):ncol(datatotsup)),nd=nd)
653 #    afcet<-ca(datatotet,supcol=((ncol(dataact)+1):ncol(datatotet)),nd=nd)
654 #    afctot<-afcsup$colcoord
655 #    rownames(afctot)<-afcsup$colnames
656 #    colnames(afctot)<-paste('coord. facteur',1:nd,sep=' ')
657 #    afctot<-cbind(afctot,mass=afcsup$colmass)
658 #    afctot<-cbind(afctot,distance=afcsup$coldist)
659 #    afctot<-cbind(afctot,intertie=afcsup$colinertia)
660 #    rcolet<-afcet$colsup
661 #    afctmp<-afcet$colcoord[rcolet,]
662 #    rownames(afctmp)<-afcet$colnames[rcolet]
663 #    afctmp<-cbind(afctmp,afcet$colmass[rcolet])
664 #    afctmp<-cbind(afctmp,afcet$coldist[rcolet])
665 #    afctmp<-cbind(afctmp,afcet$colinertia[rcolet])
666 #    afctot<-rbind(afctot,afctmp)
667 #    write.csv2(afctot,file = "%s")
668 #    source("%s")
669 #    """ % (DictAfcUciOut['afc_row'], RscriptsPath['Rgraph'])
670 #    txt += """
671 #    PARCEX=%s
672 #    """ % PARCEX
673 #    #FIXME
674 #    txt += """
675 #    PlotAfc(afcet,filename="%s",toplot=c%s, PARCEX=PARCEX)
676 #    """ % (DictAfcUciOut['AfcColAct'], "('none','active')")
677 #    txt += """
678 #    PlotAfc(afcsup,filename="%s",toplot=c%s, PARCEX=PARCEX)
679 #    """ % (DictAfcUciOut['AfcColSup'], "('none','passive')")
680 #    txt += """PlotAfc(afcet,filename="%s", toplot=c%s, PARCEX=PARCEX)
681 #    """ % (DictAfcUciOut['AfcColEt'], "('none','passive')")
682 #    txt += """
683 #    PlotAfc(afcet,filename="%s", toplot=c%s, PARCEX=PARCEX)
684 #    """ % (DictAfcUciOut['AfcRow'], "('all','none')")
685 #    f = open(DictAfcUciOut['Rafcuci'], 'w')
686 #    f.write(txt)
687 #    f.close()
688
689 class PrintSimiScript(PrintRScript) :
690     def make_script(self) :
691         self.txtgraph = ''
692         self.packages(['igraph', 'proxy', 'Matrix'])
693         self.sources([self.analyse.parent.RscriptsPath['simi'], self.analyse.parent.RscriptsPath['Rgraph']])
694         txt = ''
695         if not self.parametres['keep_coord'] and not self.parametres['type'] == 'simimatrix':
696             txt += """
697             dm.path <- "%s"
698             cn.path <- "%s"
699             selected.col <- "%s"
700             """ % (self.pathout['mat01.csv'], self.pathout['actives.csv'], self.pathout['selected.csv'])
701             if 'word' in self.parametres :
702                 txt += """
703                 word <- TRUE
704                 index <- %i + 1
705                 """ % self.parametres['word']
706             else :
707                 txt += """
708                 word <- FALSE
709                 """
710             txt += """
711             dm <-readMM(dm.path)
712             cn <- read.table(cn.path, sep='\t', quote='"')
713             colnames(dm) <- cn[,1]
714             sel.col <- read.csv2(selected.col, header = FALSE)
715             sel.col <- sel.col[,1] + 1
716             if (!word) {
717                 dm <- dm[, sel.col]
718             } else {
719                 forme <- colnames(dm)[index]
720                 if (!index %in% sel.col) {
721                     sel.col <- append(sel.col, index)
722                 }
723                 dm <- dm[, sel.col]
724                 index <- which(colnames(dm) == forme)
725             }
726             """
727         elif not self.parametres['keep_coord'] and self.parametres['type'] == 'simimatrix' :
728             txt += """
729             dm.path <- "%s"
730             selected.col <- "%s"
731             """ % (self.pathout['mat01.csv'], self.pathout['selected.csv'])
732             if 'word' in self.parametres :
733                 txt += """
734                 word <- TRUE
735                 index <- %i + 1
736                 """ % self.parametres['word']
737             else :
738                 txt += """
739                 word <- FALSE
740                 """
741             txt += """
742             dm <-read.csv2(dm.path)
743             dm <- as.matrix(dm)
744             sel.col <- read.csv2(selected.col, header = FALSE)
745             sel.col <- sel.col[,1] + 1
746             if (!word) {
747                 dm <- dm[, sel.col]
748             } else {
749                 forme <- colnames(dm)[index]
750                 if (!index %in% sel.col) {
751                     sel.col <- append(sel.col, index)
752                 }
753                 dm <- dm[, sel.col]
754                 index <- which(colnames(dm) == forme)
755             }
756             """
757         else :
758             txt += """
759             load("%s")
760             """ % self.pathout['RData.RData']
761         
762         if self.parametres['coeff'] == 0 :
763             method = 'cooc'
764             if not self.parametres['keep_coord'] :
765                 txt += """
766                 method <- 'cooc'
767                 mat <- make.a(dm)
768                 """
769         else :
770             if not self.parametres['keep_coord'] :
771                 txt += """
772                 dm <- as.matrix(dm)
773                 """
774         if self.parametres['coeff'] == 1 :
775             method = 'prcooc'
776             txt += """
777             method <- 'Russel'
778             mat <- simil(dm, method = 'Russel', diag = TRUE, upper = TRUE, by_rows = FALSE)
779             """
780         elif self.analyse.indices[self.parametres['coeff']] == 'binomial' :
781             method = 'binomial'
782             if not self.parametres['keep_coord'] :
783                 txt += """
784                 method <- 'binomial'
785                 mat <- binom.sim(dm)
786                 """
787         elif self.parametres['coeff'] != 0 :
788             method = self.analyse.indices[self.parametres['coeff']]
789             if not self.parametres['keep_coord'] :
790                 txt += """
791                 method <-"%s"
792                 mat <- simil(dm, method = method, diag = TRUE, upper = TRUE, by_rows = FALSE)
793                 """ % self.analyse.indices[self.parametres['coeff']]
794         if not self.parametres['keep_coord'] :
795             txt += """
796             mat <- as.matrix(stats::as.dist(mat,diag=TRUE,upper=TRUE))
797             mat[is.na(mat)] <- 0
798             if (length(which(mat == Inf))) {
799                 infp <- which(mat == Inf)
800                 mat[infp] <- NA
801                 maxmat <- max(mat, na.rm = TRUE)
802                 if (maxmat > 0) {
803                 maxmat <- maxmat + 1
804                 } else {
805                     maxmat <- 0
806                 }
807                 mat[infp] <- maxmat
808             }
809             if (length(which(mat == -Inf))) {
810                 infm <- which(mat == -Inf)
811                 mat[infm] <- NA
812                 minmat <- min(mat, na.rm = TRUE)
813                 if (maxmat < 0) {
814                 minmat <- minmat - 1
815                 } else {
816                     minmat <- 0
817                 }
818                 mat[infm] <- minmat
819             }
820             """
821         if 'word' in self.parametres and not self.parametres['keep_coord'] :
822             txt += """
823             mat <- graph.word(mat, index)
824             cs <- colSums(mat)
825             if (length(cs)) mat <- mat[,-which(cs==0)]
826             rs <- rowSums(mat)
827             if (length(rs)) mat <- mat[-which(rs==0),]
828             if (length(cs)) dm <- dm[, -which(cs==0)]
829             """
830
831         if self.parametres['layout'] == 0 : layout = 'random'
832         if self.parametres['layout'] == 1 : layout = 'circle'
833         if self.parametres['layout'] == 2 : layout = 'frutch'
834         if self.parametres['layout'] == 3 : layout = 'kawa'
835         if self.parametres['layout'] == 4 : layout = 'graphopt'
836
837
838         self.filename=''
839         if self.parametres['type_graph'] == 0 : type = 'tkplot'
840         if self.parametres['type_graph'] == 1 : 
841             graphnb = 1
842             type = 'nplot'
843             dirout = os.path.dirname(self.pathout['mat01'])
844             while os.path.exists(os.path.join(dirout,'graph_simi_'+str(graphnb)+'.png')):
845                 graphnb +=1
846             self.filename = ffr(os.path.join(dirout,'graph_simi_'+str(graphnb)+'.png'))
847         if self.parametres['type_graph'] == 2 : type = 'rgl'
848
849         if self.parametres['arbremax'] : 
850             arbremax = 'TRUE'
851             self.txtgraph += ' - arbre maximum'
852         else : arbremax = 'FALSE'
853         
854         if self.parametres['coeff_tv'] : 
855             coeff_tv = self.parametres['coeff_tv_nb']
856             tvminmax = 'c(NULL,NULL)'
857         elif not self.parametres['coeff_tv'] or self.parametres.get('sformchi', False) :
858             coeff_tv = 'NULL'
859             tvminmax = 'c(%i, %i)' %(self.parametres['tvmin'], self.parametres['tvmax'])
860         if self.parametres['coeff_te'] : coeff_te = 'c(%i,%i)' % (self.parametres['coeff_temin'], self.parametres['coeff_temax'])
861         else : coeff_te = 'NULL'
862         
863         if self.parametres['vcex'] or self.parametres.get('cexfromchi', False) :
864             vcexminmax = 'c(%i/10,%i/10)' % (self.parametres['vcexmin'],self.parametres['vcexmax'])
865         else :
866             vcexminmax = 'c(NULL,NULL)'
867         if not self.parametres['label_v'] : label_v = 'FALSE'
868         else : label_v = 'TRUE'
869
870         if not self.parametres['label_e'] : label_e = 'FALSE'
871         else : label_e = 'TRUE'
872         
873         if self.parametres['seuil_ok'] : seuil = str(self.parametres['seuil'])
874         else : seuil = 'NULL'
875             
876         cols = str(self.parametres['cols']).replace(')',', max=255)')
877         cola = str(self.parametres['cola']).replace(')',',max=255)')
878
879         txt += """
880         minmaxeff <- %s
881         """ % tvminmax
882         txt += """
883         vcexminmax <- %s
884         """ % vcexminmax
885         txt += """
886         cex = %i/10
887         """ % self.parametres['cex']
888
889         if self.parametres['film'] : 
890             txt += """
891             film <- "%s"
892             """ % self.pathout['film']
893         else : 
894             txt += """
895             film <- NULL
896             """
897         txt += """
898         seuil <- %s
899         """ % seuil
900         
901         txt += """
902         label.v <- %s
903         label.e <- %s
904         """ % (label_v, label_e)
905         txt += """
906         cols <- rgb%s
907         cola <- rgb%s
908         """ % (cols, cola)
909         txt += """
910         width <- %i
911         height <- %i
912         """ % (self.parametres['width'], self.parametres['height'])
913         if self.parametres['keep_coord'] :
914             txt += """
915             coords <- try(coords, TRUE)
916             if (!is.matrix(coords)) {
917                 coords<-NULL
918             }
919             """
920         else :
921             txt += """
922             coords <- NULL
923             """
924         txt += """
925         alpha <- %i/100
926         """ % self.parametres['alpha']
927         txt += """
928         alpha <- %i/100
929         """ % self.parametres['alpha']
930 #############################################
931         if  self.parametres.get('bystar',False) :
932             txt += """
933             et <- list()
934             """
935             for i, line in enumerate(self.parametres['listet']) :
936                 txt+= """
937                 et[[%i]] <- c(%s)
938                 """ % (i+1, ','.join([`val + 1` for val in line]))
939             txt+= """
940             unetoile <- c('%s')
941             """ % ("','".join([val for val in self.parametres['selectedstars']]))
942             txt += """
943             fsum <- NULL
944             rs <- rowSums(dm)
945             for (i in 1:length(unetoile)) {
946                 print(unetoile[i])
947                 tosum <- et[[i]]
948                 if (length(tosum) > 1) {
949                     fsum <- cbind(fsum, colSums(dm[tosum,]))
950                 } else {
951                     fsum <- cbind(fsum, dm[tosum,])
952                 }
953             }
954             source("%s")
955             lex <- AsLexico2(fsum, chip=TRUE)
956             dcol <- apply(lex[[4]],1,which.max)
957             toblack <- apply(lex[[4]],1,max)
958             gcol <- rainbow(length(unetoile))
959             #gcol[2] <- 'orange'
960             vertex.label.color <- gcol[dcol]
961             vertex.label.color[which(toblack <= 3.84)] <- 'black'
962             leg <- list(unetoile=unetoile, gcol=gcol)  
963             cols <- vertex.label.color
964             chivertex.size <- norm.vec(toblack, vcexminmax[1],  vcexminmax[2])
965             
966             """ % (self.analyse.parent.RscriptsPath['chdfunct'])
967         else :
968             txt += """
969             vertex.label.color <- 'black' 
970             chivertex.size <- 1
971             leg<-NULL
972             """
973 #############################################        
974
975 #        txt += """
976 #        eff <- colSums(dm)
977 #        g.ori <- graph.adjacency(mat, mode='lower', weighted = TRUE)
978 #        w.ori <- E(g.ori)$weight
979 #        if (max.tree) {
980 #            if (method == 'cooc') {
981 #                E(g.ori)$weight <- 1 / w.ori
982 #            } else {
983 #                E(g.ori)$weigth <- 1 - w.ori
984 #            }
985 #            g.max <- minimum.spanning.tree(g.ori)
986 #            if (method == 'cooc') {
987 #                E(g.max)$weight <- 1 / E(g.max)$weight
988 #            } else {
989 #                E(g.max)$weight <- 1 - E(g.max)$weight
990 #            }
991 #            g.toplot <- g.max
992 #        } else {
993 #            g.toplot <- g.ori
994 #        }
995 #        """
996         if self.parametres['com'] :
997             com = `self.parametres['communities']`
998         else :
999             com = 'NULL'
1000         if self.parametres['halo'] :
1001             halo = 'TRUE'
1002         else :
1003             halo = 'FALSE'
1004         txt += """
1005         communities <- %s
1006         halo <- %s
1007         """ % (com, halo)
1008         txt += """
1009         eff <- colSums(dm)
1010         x <- list(mat = mat, eff = eff)
1011         graph.simi <- do.simi(x, method='%s', seuil = seuil, p.type = '%s', layout.type = '%s', max.tree = %s, coeff.vertex=%s, coeff.edge = %s, minmaxeff = minmaxeff, vcexminmax = vcexminmax, cex = cex, coords = coords, communities = communities, halo = halo)
1012         """ % (method, type, layout, arbremax, coeff_tv, coeff_te)
1013             
1014         if self.parametres.get('bystar',False) :
1015             if self.parametres.get('cexfromchi', False) :
1016                 txt+="""
1017                     label.cex<-chivertex.size
1018                     """
1019             else :
1020                 txt+="""
1021                 label.cex <- NULL
1022                 """
1023             if self.parametres.get('sfromchi', False) :
1024                 txt += """
1025                 vertex.size <- norm.vec(toblack, minmaxeff[1], minmaxeff[2])
1026                 """
1027             else :
1028                 txt += """
1029                 vertex.size <- NULL
1030                 """
1031         else :
1032             if self.parametres['type'] == 'clustersimitxt' : 
1033                 txt += """
1034                 lchi <- read.table("%s")
1035                 lchi <- lchi[,1]
1036                 """ % ffr(self.parametres['tmpchi'])
1037                 txt += """
1038                     lchi <- lchi[sel.col]
1039                     """
1040             if self.parametres['type'] == 'clustersimitxt' and self.parametres.get('cexfromchi', False) :
1041                 txt += """ 
1042                 label.cex <- norm.vec(lchi, vcexminmax[1], vcexminmax[2])
1043                 """
1044             else :
1045                 txt += """
1046             if (is.null(vcexminmax[1])) {
1047                 label.cex <- NULL
1048             } else {
1049                 label.cex <- graph.simi$label.cex
1050             }
1051             """
1052             if self.parametres['type'] == 'clustersimitxt' and self.parametres.get('sfromchi', False) :
1053                 txt += """ 
1054                 vertex.size <- norm.vec(lchi, minmaxeff[1], minmaxeff[2])
1055                 if (!length(vertex.size)) vertex.size <- 0
1056                 """
1057             else :
1058                 txt += """
1059             if (is.null(minmaxeff[1])) {
1060                 vertex.size <- 0
1061             } else {
1062                 vertex.size <- graph.simi$eff
1063             }
1064             """
1065         #txt += """ vertex.size <- NULL """
1066         if self.parametres['svg'] : svg = 'TRUE'
1067         else : svg = 'FALSE'
1068         txt += """
1069         svg <- %s
1070         """ % svg
1071         txt += """
1072         vertex.col <- cols
1073         if (!is.null(graph.simi$com)) {
1074             com <- graph.simi$com
1075             colm <- rainbow(length(com))
1076             if (vertex.size != 0 || graph.simi$halo) {
1077                 vertex.label.color <- 'black'
1078                 vertex.col <- colm[membership(com)]
1079             } else {
1080                 vertex.label.color <- colm[membership(com)]
1081             }
1082         }
1083         coords <- plot.simi(graph.simi, p.type='%s',filename="%s", vertex.label = label.v, edge.label = label.e, vertex.col = vertex.col, vertex.label.color = vertex.label.color, vertex.label.cex=label.cex, vertex.size = vertex.size, edge.col = cola, leg=leg, width = width, height = height, alpha = alpha, movie = film, svg = svg)
1084         save.image(file="%s")
1085         """ % (type, self.filename, self.pathout['RData'])
1086         
1087         self.add(txt)
1088         self.write()
1089
1090 class WordCloudRScript(PrintRScript) :
1091     def make_script(self) :
1092         self.sources([self.analyse.parent.RscriptsPath['Rgraph']])
1093         self.packages(['wordcloud'])
1094         bg_col = Rcolor(self.parametres['col_bg'])
1095         txt_col = Rcolor(self.parametres['col_text'])
1096         if self.parametres['svg'] :
1097             svg = 'TRUE'
1098         else :
1099             svg = 'FALSE'
1100         txt = """
1101         svg <- %s
1102         """ % svg
1103         txt += """
1104         act <- read.csv2("%s", header = FALSE, row.names=1, sep='\t')
1105         selected.col <- read.table("%s")
1106         toprint <- as.matrix(act[selected.col[,1] + 1,])
1107         rownames(toprint) <- rownames(act)[selected.col[,1] + 1]
1108         maxword <- %i
1109         if (nrow(toprint) > maxword) {
1110             toprint <- as.matrix(toprint[order(toprint[,1], decreasing=TRUE),])
1111             toprint <- as.matrix(toprint[1:maxword,])
1112         }
1113         open_file_graph("%s", width = %i, height = %i , svg = svg)
1114         par(bg=rgb%s)
1115         wordcloud(row.names(toprint), toprint[,1], scale=c(%f,%f), random.order=FALSE, colors=rgb%s)
1116         dev.off()
1117         """ % (ffr(self.analyse.pathout['actives_eff.csv']), ffr(self.analyse.pathout['selected.csv']), self.parametres['maxword'], ffr(self.parametres['graphout']), self.parametres['width'], self.parametres['height'], bg_col, self.parametres['maxcex'], self.parametres['mincex'], txt_col)
1118         self.add(txt)
1119         self.write()
1120
1121 class ProtoScript(PrintRScript) :
1122     def make_script(self) :
1123         self.sources([self.analyse.parent.RscriptsPath['Rgraph'], self.analyse.parent.RscriptsPath['prototypical.R']])
1124         self.packages(['wordcloud'])
1125         txt = """
1126         mat <- read.csv2("%s", header = FALSE, row.names=1, sep='\t', quote='"', dec='.')
1127         open_file_graph("%s",height=600, width=600)
1128         prototypical(mat, mfreq = %s, mrank = %s, cloud = FALSE, cexrange=c(1,2.4), cexalpha= c(0.4, 1))
1129         dev.off()
1130         """ % (self.analyse.pathout['table.csv'], self.analyse.pathout['proto.png'], self.parametres['limfreq'], self.parametres['limrang'])
1131         self.add(txt)
1132         self.write()
1133