pproc.cfg 8.7 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224
  1. ;#################################################################
  2. ;# �������ļ����ִ�Сд����������/������һ�ɲ���Сд�ַ� #
  3. ;# ��������ģ�����á�postproc�� #
  4. ;#################################################################
  5. [postproc]
  6. ;�Ƿ�ر����ֹ������滻��������㴦��,˳���ͼ�ת����true/false��
  7. pproc_param_closeallproc=false
  8. ;�Ƿ����˳��������true/false��
  9. smoothproc=false
  10. ;�Ƿ���п������������true/false��
  11. colloqproc=false
  12. ;�Ƿ���б�㴦����true/false��
  13. puncproc=true
  14. ;�Ƿ�������ֹ�����true/false��
  15. numproc=true
  16. ;�Ƿ�����滻������true/false��
  17. replaceproc=false
  18. ;�Ƿ���зֶδ�����true/false��
  19. paragraproc = false
  20. ;�ӿ����͡�0 - תд��1 - ��д��
  21. interfacetype = 1
  22. ;�������Ƿ�Ϊ����ģʽ������ģʽʱ�������һ�������true/false������д�������ã�תдʱ������ʧЧ��
  23. puncCacheMoudle = true
  24. ;�������ԡ�0 - ���ģ�1 - ���2 - Ӣ�3 - ������[��Ӣ]��
  25. languagetype=0
  26. ;Quark�������Ĭ��ΪCnNet
  27. ;nextG������͡�0 - JSON��ʽ, 1 - ����(�ı���ʽ)��
  28. outputtype=0
  29. ;0:�����ԣ� 1����㣬 2��˳���� 3���ֶ�
  30. pproc_test=0
  31. ;�Ƿ���ض��㻯��Դ
  32. bilstm_fix = 1
  33. ;�Ƿ񽫼���ת��Ϊ����(ֻ����ͨ������������ʱ��Ч)��true/false��,Ĭ��Ϊfalse
  34. needJianToFan=false
  35. ;�Ƿ�رպ��������Ŷ������true/false��,Ĭ��Ϊfalse
  36. outCmInfo=true
  37. ;#�Ƿ���ݴ������Ż�˳���ͱ�㡾true/false��������Ĵʴ�������ʱ��������Ч��
  38. useAttribute=false
  39. ;#�Ƿ�����n��s��p��g������������ԡ�true/false����Ĭ��Ϊfalse
  40. reserveAllAttribute= false
  41. ;#################################################################
  42. ;# ���ִ������á�numproc�� #
  43. ;#################################################################
  44. [postproc\numproc]
  45. ;nlpģ��dll·��
  46. nlp_module_path= nlp.dll
  47. ;���ֹ���ʹ��c++:0 ���� python:1
  48. num_proc_type = 0
  49. ;���ֹ���������0:��ͨ������1:����������2:ҽ�Ƴ���
  50. num_usage_scene = 0
  51. ;nlp�����Դ
  52. semantic_word_dict=pproc/resource_2_0_12/SemanticWord.dic
  53. basic_phrase_gram=pproc/resource_2_0_12/BasicPhrase.gram
  54. number_dict=pproc/resource_2_0_12/number_math_normal.dic
  55. number_gram=pproc/resource_2_0_12/number_math_normal.gram
  56. not_replace_list=pproc/resource_2_0_12/num_not_change_list
  57. ;#��Ҫ��������������
  58. [postproc\numproc\proc_num_semantic]
  59. ;����=on/off
  60. NumStr=on
  61. NumSeq=on
  62. BigNum=on
  63. PersonalInformation=on
  64. Date=on
  65. Time=on
  66. Fraction=on
  67. LicensePlate=on
  68. NumberOverWan=on
  69. Delete=on
  70. MathSymbol=on
  71. SpecialWord=on
  72. WebSite=on
  73. NumstrUighur=on
  74. NumseqUighur=on
  75. MonthUighur=on
  76. NumsymbolUighur=on
  77. NumzeroUighur=on
  78. SpecialwordUighur=on
  79. SpecialnullUighur=on
  80. SpecialpointUighur=on
  81. CourtMeasure=on
  82. ;#��Ҫ�������������
  83. [postproc\numproc\output_num_semantic]
  84. ;����=on/off
  85. ;#################################################################
  86. ;# �滻�������á�replaceproc�� #
  87. ;#################################################################
  88. [postproc\replaceproc]
  89. ;�滻�б�
  90. replace_list=pproc/resource_2_0_12/replace_list
  91. ;�������滻����
  92. proc_tatata = false
  93. tatata_szBinResURL = pproc/resource_2_0_12/bin_model/BiLstm_tatata.bin
  94. ;#################################################################
  95. ;# ˳���������á�smoothproc�� #
  96. ;#################################################################
  97. [postproc\smoothproc]
  98. ;smooth blstm��������0-float��1-8bit��2-16bit��Ĭ��0
  99. smooth_calc_type = 1
  100. ;smooth ��Դ����0-��26ά������1-����26ά������Ĭ��0
  101. smooth_res_type = 0
  102. ;bilstm˳����Դ
  103. blstm_BinURL_smooth = pproc/resource_2_0_12/bin_model/BiLstm_smooth_model_20170919_smooth.bin
  104. blstm_BinURL_smooth_English = pproc/resource_2_0_12/bin_model/BiLstm_smooth_2layer_English_20171212_smooth.bin
  105. ;#################################################################
  106. ;# ��㴦�����á�puncproc�� #
  107. ;#################################################################
  108. [postproc\puncproc]
  109. ;punc��Դ����0-blstm��1-blstm_PD, 2-selfAttentionĬ��0
  110. punc_res_type = 1
  111. ;punc mlp��������0-float��1-8bit��2-16bit��Ĭ��0��blstmֻ֧��0��1��selfAttenֻ֧��0��2
  112. punc_calc_type = 1
  113. blstm_BinURL_punc = pproc/BiLstm_shengxue_offline_20210324_slni2_fixpunc.bin
  114. ###pproc/out_punc.bin
  115. ;8άwordembeding����BiLstm_punc_2018_1_8����ʹ�ã���ʹ��ʱ�轫��ע��
  116. blstm_BinURL_punc_PD = pproc/BiLstm_shengxue_offline_20210324_slni2_fixpunc.bin
  117. ##pproc/resource_2_0_12/bin_model/BiLstm_punc_tingjian_vad_tag_dunhao_20181115_punc.bin
  118. ;new punc model
  119. selfAtten_BinURL_punc = pproc/resource_2_0_12/bin_model/SelfAttention_20181106_punc.bin
  120. ;Ӣ��punc��Դ����0-blstm_eng��1-blstm_eng_PD, Ĭ��0
  121. punc_res_type_eng = 0
  122. blstm_BinURL_punc_English = pproc/resource_2_0_12/bin_model/BiLstm_punc_English.bin
  123. blstm_BinURL_punc_English_PD =
  124. ;�������ϵ����Ĭ��Ϊ0.0
  125. prior_rate = 0.2
  126. ###0
  127. ;Ӣ�ı������ϵ����Ĭ��Ϊ0.0
  128. prior_rate_en =
  129. ;��Ӣ������������ֵ
  130. prior_value = 0.85924767,0.062097898,0.068435067,0.000801522,0.009417843
  131. ####0.86126,0.06213,0.0668,0.00066,0.0091
  132. prior_value_en = 0.87,0.069,0.055,0.0002,0.0055
  133. ;Vad�������ޣ���Ԥ����Ϊ�������ʱ(maxΪ0)����������Ч��
  134. ;�����������趨max��second_max֮��IJ�ֵ����ֵ���ڴ����޲Ų��ӱ�㣬�����second_max���
  135. ;Ĭ��Ϊ0������������ʧЧ(Quark��վ�ͻ���ϵͳ����Ϊ0�����뷨ʱ��Ϊ0.9)
  136. vad_punc_threshold = 0
  137. ###0.8
  138. ;���о�����ޣ��������ƾ��г���ţ�
  139. ;�����о�ŵ÷�-���ŵ÷֣����ڴ�����ʱ�żӾ�ţ�����Ӷ���
  140. ;Ĭ��Ϊ0������������ʧЧ(Quark��վ�ͻ���ϵͳ����Ϊ0�����뷨ʱ��Ϊ7)
  141. period_punc_threshold = 0
  142. ;��ӡ���Ԥ������Ĭ��Ϊ0
  143. # print_punc_result = 0
  144. ;#################################################################
  145. ;# �ֶδ������á�paragraproc�� #
  146. ;#################################################################
  147. [postproc\paragraproc]
  148. ;onlinePara lstm��������0-float��1-8bit��Ĭ��0��(offlineʱ����Ч��ֻʹ��float����)
  149. para_calc_type = 1
  150. ;paragraph blstm��Դ
  151. blstm_BinURL_para = pproc/resource_2_0_12/bin_model/BiLstm_para_online_segment_20180611_para.bin
  152. ;��Ƶ���Ự���������Ƿ�ǿ�ƷֶΣ�Ĭ��Ϊfalse
  153. force_do_paragra = false
  154. ;�ֶ���ֵ������÷ִ�����ֵ��ֶ�(Ĭ��0.4)
  155. threshold_do_paragra = 0.3
  156. ;ÿ�仰������ֵĬ��Ϊ30bytes(��������Ϊ28�����߲�ʹ�ô����ã�)
  157. threshold_senten_byteNum = 28
  158. ;������ٴʺ�����ֶ�Ԥ�⣬��ҪС��400�ʣ�����1000���ţ����ߣ�
  159. ;����ʱ����ʾ�ۼƶ��ٴ�ǿ�У�����60�ʽ���
  160. threshold_article_wordNum = 60
  161. ;#################################################################
  162. ;# ��������������á�colloqproc�� #
  163. ;#################################################################
  164. [postproc\colloqproc]
  165. Colloq_BinURL=pproc/resource_2_0_12/bin_model/Colloq_v2.bin
  166. [logger]
  167. file = ../log/postproc.log
  168. level =
  169. output =
  170. flush =
  171. maxsize =
  172. overwrite =