iramuteq.org Git - iramuteq/blob - putcorpusindb.py

   1 import sqlite3
   2 import codecs
   3 import os
   4 import shelve
   5 from time import time
   6
   7 corpus_out = 'corpus.txt'
   8
   9 with codecs.open(corpus_out ,'r', 'utf8') as f:
  10     content = f.read()
  11     sep = '\n\n'
  12     ucis_paras_uces = [[[uce for uce in para.splitlines()] for para in uci.split(u'$$$')] for uci in content.split(sep)]
  13
  14 print ucis_paras_uces[0]
  15
  16 #db = 'corpus.db'
  17 #conn = sqlite3.connect(db)
  18 #c = conn.cursor()
  19 #conn.text_factory = str
  20 #c = conn.cursor()
  21 #c.execute('''CREATE TABLE if not exists uce (id INTEGER PRIMARY KEY, iduci INTEGER, idpara INTEGER, content TEXT)''')
  22 #c = conn.cursor()
  23 idpara = -1
  24 iduce = -1
  25 uce_uci_para = {}
  26 para_uci = {}
  27 formes = {}
  28 def addforme(word, formes, iduce) :
  29     if word in formes :
  30         formes[word][0] += 1
  31         if iduce in formes[word][1] :
  32             formes[word][1][iduce] += 1
  33         else :
  34             formes[word][1][iduce] = 1
  35     else :
  36         formes[word] = [1, {iduce:1}]
  37
  38 for i, uci in enumerate(ucis_paras_uces) :
  39     for para in uci :
  40         idpara += 1
  41         para_uci[idpara] = i
  42         for uce in para :
  43             iduce += 1
  44             uce_uci_para[iduce] = [i, idpara]
  45             fileout = os.path.join('uce', '%i.txt' % iduce)
  46             with open(fileout, 'w') as f :
  47                 f.write(uce.encode('utf8'))
  48             uce = uce.split()
  49             for word in uce :
  50                 addforme(word, formes, iduce)
  51
  52 t1 = time()
  53 d = shelve.open('shelves.db')
  54 d['formes']=formes
  55 d.close()
  56 print time() - t1
  57
  58 t2 = time()
  59 d = shelve.open('shelves.db')
  60 formes = d['formes']
  61 d.close()
  62 print time() - t2
  63 t3 = time()
  64 word = formes['les']
  65 ucis = [uce_uci_para[iduce][0] for iduce in word[1]]
  66 word[0]
  67 print time() - t3
  68
  69             #c.execute('INSERT INTO uce values (?, ?, ?, ?)', (iduce, i, idpara, uce))
  70     #conn.commit()
  71
  72