yes I use: cwb-encode -c utf8<br />so, what should I do?<br /><br />El Lun, 9 de Mayo de 2016,
15:55, Hardie, Andrew escribi&oacute;:<br /> <!-- begin sanitized html --> <br />
<div class="bodyclass"><span style="font-size:10.0pt;font-family:">Is the corpus declared as
UTF-8?</span>
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"> </span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:">If so, the problem is likely
to be that, in testing letter n-grams, the aligner is slicing up UTF characters. (I???m not
quite sure why this causes an error with<br />  cl_string_canonical as I wasn???t aware that
the aligner used that function??? but possibly I???ve just forgotten).</span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"> </span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:">best</span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"> </span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:">Andrew.</span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"> </span></p>
<p class="MsoNormal"><strong><span lang="EN-US"
style="font-size:10.0pt;font-family:">From:</span></strong><span lang="EN-US"
style="font-size:10.0pt;font-family:"> cwb-bounces@sslmit.unibo.it
[mailto:cwb-bounces@sslmit.unibo.it]<br /> <strong>On Behalf Of </strong>&quot;Andr??s
Chand??a&quot;<br /> <strong>Sent:</strong> 09 May 2016 14:31<br /> <strong>To:</strong> Open
source development of the Corpus WorkBench<br /> <strong>Subject:</strong> [CWB] invalid UTF8
string passed to cl_string_canonical...</span></p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I'm geting this error message when aligning but I don't know how to deal
with it, I just found one comment about it, it didn't help me though, thanks.<br /> <br />
OPENING btcataladeutsch_ca [205899 tokens, 7733 <s_id> regions]<br /> OPENING
btcataladeutsch_de [112264 tokens, 4951 <s_id> regions]<br /> LEXICON SIZE: 24709 / 19889<br
/> FEATURE: character count, weight=1 ... [1]<br /> FEATURE: Shared words, threshold=40.0%,
weight=50 ... [6]<br /> FEATURE: 3-grams, weight=3 ... CL: major error, invalid UTF8 string
passed to cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> [21952]<br /> FEATURE: 4-grams, weight=4 ... CL: major error,
invalid UTF8 string passed to cl_string_canonical...<br /> CL: major error, invalid UTF8
string passed to cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> [614656]<br /> [636615 features allocated]<br /> [290636 entries
in source text feature map]<br /> [296034 entries in target text feature map]<br /> PASS 2:
Setting character count weight.<br /> PASS 2: Processing shared words (th=40.0%).<br /> PASS
2: Processing 3-grams.<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> PASS 2: Processing 4-grams.<br /> CL: major error, invalid UTF8
string passed to cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> CL: major error, invalid UTF8 string passed to
cl_string_canonical...<br /> PASS 2: Creating character counts.<br /> <br />
_______________________<br />             andr??s chand??a<br /> <a title="Este enlace externo
se abrir? en una nueva ventana" target="_blank" href="http://www.chandia.net"><span
style="text-decoration:none"><img border="0" alt="chandia.net"
src="../images/sec_remove_es_ES.png" id="_x0000_i1025" /></span></a><a title="Este enlace
externo se abrir? en una nueva ventana" target="_blank"
href="https://twitter.com/andreschandia"><span style="text-decoration:none"><img border="0"
src="../images/sec_remove_es_ES.png" id="_x0000_i1026" alt="" /></span></a><br />
administrador de:<br /> <a title="Este enlace externo se abrir? en una nueva ventana"
target="_blank" href="http://parles.upf.edu">parles.upf</a> | <a title="Este enlace externo se
abrir? en una nueva ventana" target="_blank" href="http://www.delingua.es"><br /> delingua</a>
| <a title="Este enlace externo se abrir? en una nueva ventana" target="_blank"
href="http://amindterapia.com">amind terapia</a> | <a title="Este enlace externo se abrir? en
una nueva ventana" target="_blank" href="http://koyaktumapuche.net"><br /> mapuche koyaktu</a>
| <a title="Este enlace externo se abrir? en una nueva ventana" target="_blank"
href="http://mail.corporacionkoyaktu.net">mail ong mapuche koyaktu</a> |<br /> <a title="Este
enlace externo se abrir? en una nueva ventana" target="_blank"
href="http://mail.psicoaching.net">mail psicoaching</a> |<br /> <span
style="font-size:18.0pt;font-family:Webdings;color:#4F6228">P </span><span
style="font-size:10.0pt;color:#4F6228">No imprima innecesariamente. ??Cuide el medio
ambiente!</span></s_id></s_id></p>
</div>
<br /> </div>
<br /> <br />  <!-- end sanitized html --> <br /><br /><br />_______________________<br
/>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;andr&eacute;s
chand&iacute;a<br /><a target="_blank" href="http://www.chandia.net"><img border="0"
alt="chandia.net" src="http://www.chandia.net/sites/default/files/images/chandia.netd.png"
/></a><a target="_blank" href="https://twitter.com/andreschandia"><img
src="http://www.upf.edu/universitat/_img/ico_tw.png" alt="" /></a><br />administrador de:<br
/><a href="http://parles.upf.edu">parles.upf</a> | <a
href="http://www.delingua.es">delingua</a> | <a href="http://amindterapia.com">amind
terapia</a> | <a href="http://koyaktumapuche.net">mapuche koyaktu</a> | <a
href="http://mail.corporacionkoyaktu.net">mail ong mapuche koyaktu</a> | <a
href="http://mail.psicoaching.net">mail psicoaching</a> |<br /><span style="font-size: 18pt;
color: rgb(79, 98, 40); font-family: Webdings;">P </span><span style="font-size: 10pt; color:
rgb(79, 98, 40);">No imprima innecesariamente. &iexcl;Cuide el medio ambiente!</span>