гÒôÏÖÏóµÄÓïÑÔѧ±¾ÖʽâÎö
ÓïÑÔϵͳÖеÄÒôËØÖØµþÔì¾ÍÁË¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹µÄÌØÊâÏÖÏó¡£ÈÕÓï·¢Òô¡¸anata no otosan ga watashi¡¹ÔÚººÓïĸÓïÕßÌý¾õÈÏÖªÖУ¬»áÒòÓïÒô¹ýÂËÆ÷£¨phonological filter£©×÷Ó÷¢Éú·ÇĸÓï×ÌÈÅ¡£µ±ÈÕÓﳤÒô½Ú"o-to-san"ÔâÓöººÓïË«Òô½Ú´¦Öóͷ£Ï°¹ßʱ£¬"˽гÒô"µÄÎóÌý¸ÅÂÊÏÔÖøÉÏÉý¡£ÕâÖÖ¿çÓïÑÔÓïÒô¶ÔÓ¦¹ØÏµµÄ´í룬ÕýÊÇÔì³É"¤¢¤Ê¤¿¤Î"ϵÁÐгÒôÏÖÏóµÄ½¹µã³ÉÒò¡£
ÈÕÓﺺ×Ö´ÊÓëÖÐÎÄ·¢ÒôϵͳµÄ²îÒìÐÔ
ÖÐÈÕͬÐδʣ¨Sino-Japanese cognates£©µÄ´æÔÚÈÃ"˽гÒô"ÏÖÏó¸ü¾ßÃÔ»óÐÔ¡£"¸¸ÓH"ÔÚÈÕÓïÖжÁ×÷"¤Á¤Á¤ª¤ä"£¬¶øºº×Ö"¸¸"µ¥¶À·¢ÒôΪ"chichi"£¬ÕâÓëÖÐÎÄ"¸¸Ç×"µÄ³ß¶È·¢Òô´æÔÚÃ÷ÏÔ²îÒì¡£µ±Ñ§Ï°Õß½«ÈÕºº·¢Òô¹æÔò»ìÏýʱ£¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬"ÕâÀà¶ÌÓï¾ÍÈÝÒ×ÔÚÓïÒå½âÂëʱ·¢ÉúÆ«²î¡£Ñо¿½²Ã÷£¬Ô¼67%µÄµÍ¼¶ÈÕÓïѧϰÕß»áÔÚ´ËÀàгÒô±í´ïÖзºÆðÀí½âÕϰ¡£
·¢Òô¶Ô±ÈʵÑé½ÒʾµÄÌý¾õ´í¾õ
ͨ¹ýÉùѧ·ÖÎöÈí¼þ£¨Praat£©¶Ô±È·¢ÏÖ£¬"¤¬Ë½"µÄÈÕÓï·¢Òô"ga watashi"ÓëÖÐÎÄ"гÒô"µÄÉùÆ×ͼ´æÔÚÏÔÖøÖØµþÇøÓò¡£ÔÚ300HzÖÁ800HzƵÂÊ´øÖУ¬ÈÕÓïÈûÒô"g"Ó뺺ÓïÉà¸ùÒô"h"µÄ¹²Õñ·åÏàËÆ¶Èµ½´ï82%¡£ÕâÖÖÉùÑ§ÌØÕ÷µÄÏàËÆÐÔ£¬Ê¹µÃÈÕÓïµÍ¼¶Ñ§Ï°ÕßÔÚÎÞ×ÖÄ»Çé¿öÏ£¬ÈÝÒ×½«¶ÌÓïÕûÌå½ÓÊÕΪÖÐÎÄгÒô±í´ï¡£µäÐͰ¸ÀýÏÔʾ£¬Á¬Ðø²¥·ÅËÙ¶ÈÁè¼Ý170×Ö/·ÖÖÓʱ£¬ÎóÌýÂÊ»áìÉýµ½91%¡£
¿çÎÄ»¯ÏàͬÖеÄʵ¼ÊÓ°Ïì·ÖÎö
ÔÚÕæÊµÉÌÎñ³¡¾°ÖУ¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"ÀàгÒô¿ÉÄÜÒý·¢ÑÏÖØ½á¹û¡£Ä³ÖÐÈÕºÏ×ÊÆóÒµµÄ̸ÅÐʵÀýÏÔʾ£¬µ±ÈÕ·½´ú±í˵"µ±Éç¤ÎÌá°¸¤¬..."£¨ÎÒ˾µÄÌá°¸...£©Ê±£¬ÖÐÎÄÅä¾°ÈËÔ±Òò½«"¤¬"Ìý×÷"г"¶øÎó½âΪ·ñÈÏÐÔ±íÊö¡£´ËÀàÎó½âƽ¾ùʹÆóÒµÏàͬ³É±¾Ôö¼Ó23%£¬¸üÔì³É17%µÄÏàÖúÏîÄ¿ÑÓÆÚ¡£ÕâÌáʾÎÒÃÇ£¬¿çÓïÑÔгÒôÏÖÏó²»¹âÊÇÓïÑÔѧÎÊÌ⣬¸üÊÇʵ¼ÊÍâ½»ÖеÄÖØÒªÕϰ¡£
ϵͳ»¯ÓïÒôѵÁ·µÄ½â¾ö·½°¸
Õë¶Ô"˽гÒô"Àà¿çÓïÑÔÎóÌýÏÖÏó£¬Ñз¢ÁËÈý½×¶Î¾ÀÒôѵÁ··¨¡£Í¨¹ý×îС¶ÔÁ¢¶Ô£¨minimal pairs£©ÑµÁ·Ç¿»¯ÈÕÓï"ga"ÐÐÓ뺺Óï"h"ÉùĸµÄ±æÒôÄÜÁ¦£¬µÚ¶þ½×¶ÎÖ²ÈëÔÏÂɸÐ֪ģ¿é£¬ÖصãÕÆÎÕÈÕÓïÖú´Ê"¤¬"µÄÈõ»¯·¢ÒôÌØµã£¬×îÖÕÔÚÇé¾°¶Ô»°Öн¨ÉèÓïÒô-ÓïÒåµÄ¾«È·Ó³É䡣ʵÑéÊý¾ÝÏÔʾ£¬¾¹ý12ÖÜϵͳѵÁ·µÄѧϰÕߣ¬ÔÚ"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"Àà¾ä×ӵıæÌý׼ȷÂÊÌáÉý89%¡£
ÖÇÄÜÓïÒô¼¼ÊõµÄ½éÈëÓëÓ¦ÓÃ
µ±Ç°ASR£¨×Ô¶¯ÓïÒôʶ±ð£©ÏµÍ³ÔÚ´¦Öóͷ£"¤¢¤Ê¤¿¤Î"ÀàгÒô¶ÌÓïʱչÏÖ³ö¼¼ÊõÓÅÊÆ¡£×îÐÂÑо¿½«·´¿¹ÑµÁ·£¨adversarial training£©ÒýÈëÓïÒôÄ£ÐÍ£¬Í¨¹ý¹¹½¨ÖÐÈÕ»ìÏýÒôËØÊý¾Ý¿â£¬Ê¹»úеÔÚÓïÒôתдʱÄÜ×Ô¶¯Ð£Õý93%µÄгÒôÎó²î¡£Ä³¿ç¹úÊÓÆµ¾Û»á»áÒéÆ½Ì¨µÄʵ²âÊý¾ÝÏÔʾ£¬½ÓÈë¸Ã¼¼Êõºó£¬ÖÐÈÕË«Óï¾Û»á»áÒéµÄÏàͬЧÂÊÌáÉý41%£¬Òªº¦ÐÅÏ¢ÒÅ©ÂÊϽµÖÁ3.2%¡£
¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹ÏÖÏó½ÒʾÁËÓïÑÔÈÏÖªµÄÅÓ´óÐÔ£¬Ò²Íƶ¯×Å¿çÎÄ»¯½»Á÷¼¼ÊõµÄÉú³¤¡£Í¨¹ýϵͳÐÔÓïÒôѵÁ·ÓëÖÇÄܼ¼ÊõµÄ½áºÏ£¬ÎÒÃDz»½öÄÜÆÆ½âµ±Ç°´æÔÚµÄгÒôÎó½â£¬¸üΪ¹¹½¨ÎÞ¹ú½çµÄ¾«×¼ÏàͬÌṩÐÂ˼·¡£ÕÆÎÕ·¢Òô²îÒìµÄ±¾ÖʼÍÂÉ£¬½«³ÉΪȫÇò»¯Ê±´úÓïÑÔѧϰÕߵıر¸¼¼Êõ¡£Ð³ÒôÏÖÏóµÄÓïÑÔѧ±¾ÖʽâÎö
ÓïÑÔϵͳÖеÄÒôËØÖØµþÔì¾ÍÁË¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹µÄÌØÊâÏÖÏó¡£ÈÕÓï·¢Òô¡¸anata no otosan ga watashi¡¹ÔÚººÓïĸÓïÕßÌý¾õÈÏÖªÖУ¬»áÒòÓïÒô¹ýÂËÆ÷£¨phonological filter£©×÷Ó÷¢Éú·ÇĸÓï×ÌÈÅ¡£µ±ÈÕÓﳤÒô½Ú"o-to-san"ÔâÓöººÓïË«Òô½Ú´¦Öóͷ£Ï°¹ßʱ£¬"˽гÒô"µÄÎóÌý¸ÅÂÊÏÔÖøÉÏÉý¡£ÕâÖÖ¿çÓïÑÔÓïÒô¶ÔÓ¦¹ØÏµµÄ´í룬ÕýÊÇÔì³É"¤¢¤Ê¤¿¤Î"ϵÁÐгÒôÏÖÏóµÄ½¹µã³ÉÒò¡£
ÈÕÓﺺ×Ö´ÊÓëÖÐÎÄ·¢ÒôϵͳµÄ²îÒìÐÔ
ÖÐÈÕͬÐδʣ¨Sino-Japanese cognates£©µÄ´æÔÚÈÃ"˽гÒô"ÏÖÏó¸ü¾ßÃÔ»óÐÔ¡£"¸¸ÓH"ÔÚÈÕÓïÖжÁ×÷"¤Á¤Á¤ª¤ä"£¬¶øºº×Ö"¸¸"µ¥¶À·¢ÒôΪ"chichi"£¬ÕâÓëÖÐÎÄ"¸¸Ç×"µÄ³ß¶È·¢Òô´æÔÚÃ÷ÏÔ²îÒì¡£µ±Ñ§Ï°Õß½«ÈÕºº·¢Òô¹æÔò»ìÏýʱ£¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬"ÕâÀà¶ÌÓï¾ÍÈÝÒ×ÔÚÓïÒå½âÂëʱ·¢ÉúÆ«²î¡£Ñо¿½²Ã÷£¬Ô¼67%µÄµÍ¼¶ÈÕÓïѧϰÕß»áÔÚ´ËÀàгÒô±í´ïÖзºÆðÀí½âÕϰ¡£
·¢Òô¶Ô±ÈʵÑé½ÒʾµÄÌý¾õ´í¾õ
ͨ¹ýÉùѧ·ÖÎöÈí¼þ£¨Praat£©¶Ô±È·¢ÏÖ£¬"¤¬Ë½"µÄÈÕÓï·¢Òô"ga watashi"ÓëÖÐÎÄ"гÒô"µÄÉùÆ×ͼ´æÔÚÏÔÖøÖØµþÇøÓò¡£ÔÚ300HzÖÁ800HzƵÂÊ´øÖУ¬ÈÕÓïÈûÒô"g"Ó뺺ÓïÉà¸ùÒô"h"µÄ¹²Õñ·åÏàËÆ¶Èµ½´ï82%¡£ÕâÖÖÉùÑ§ÌØÕ÷µÄÏàËÆÐÔ£¬Ê¹µÃÈÕÓïµÍ¼¶Ñ§Ï°ÕßÔÚÎÞ×ÖÄ»Çé¿öÏ£¬ÈÝÒ×½«¶ÌÓïÕûÌå½ÓÊÕΪÖÐÎÄгÒô±í´ï¡£µäÐͰ¸ÀýÏÔʾ£¬Á¬Ðø²¥·ÅËÙ¶ÈÁè¼Ý170×Ö/·ÖÖÓʱ£¬ÎóÌýÂÊ»áìÉýµ½91%¡£
¿çÎÄ»¯ÏàͬÖеÄʵ¼ÊÓ°Ïì·ÖÎö
ÔÚÕæÊµÉÌÎñ³¡¾°ÖУ¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"ÀàгÒô¿ÉÄÜÒý·¢ÑÏÖØ½á¹û¡£Ä³ÖÐÈÕºÏ×ÊÆóÒµµÄ̸ÅÐʵÀýÏÔʾ£¬µ±ÈÕ·½´ú±í˵"µ±Éç¤ÎÌá°¸¤¬..."£¨ÎÒ˾µÄÌá°¸...£©Ê±£¬ÖÐÎÄÅä¾°ÈËÔ±Òò½«"¤¬"Ìý×÷"г"¶øÎó½âΪ·ñÈÏÐÔ±íÊö¡£´ËÀàÎó½âƽ¾ùʹÆóÒµÏàͬ³É±¾Ôö¼Ó23%£¬¸üÔì³É17%µÄÏàÖúÏîÄ¿ÑÓÆÚ¡£ÕâÌáʾÎÒÃÇ£¬¿çÓïÑÔгÒôÏÖÏó²»¹âÊÇÓïÑÔѧÎÊÌ⣬¸üÊÇʵ¼ÊÍâ½»ÖеÄÖØÒªÕϰ¡£
ϵͳ»¯ÓïÒôѵÁ·µÄ½â¾ö·½°¸
Õë¶Ô"˽гÒô"Àà¿çÓïÑÔÎóÌýÏÖÏó£¬Ñз¢ÁËÈý½×¶Î¾ÀÒôѵÁ··¨¡£Í¨¹ý×îС¶ÔÁ¢¶Ô£¨minimal pairs£©ÑµÁ·Ç¿»¯ÈÕÓï"ga"ÐÐÓ뺺Óï"h"ÉùĸµÄ±æÒôÄÜÁ¦£¬µÚ¶þ½×¶ÎÖ²ÈëÔÏÂɸÐ֪ģ¿é£¬ÖصãÕÆÎÕÈÕÓïÖú´Ê"¤¬"µÄÈõ»¯·¢ÒôÌØµã£¬×îÖÕÔÚÇé¾°¶Ô»°Öн¨ÉèÓïÒô-ÓïÒåµÄ¾«È·Ó³É䡣ʵÑéÊý¾ÝÏÔʾ£¬¾¹ý12ÖÜϵͳѵÁ·µÄѧϰÕߣ¬ÔÚ"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"Àà¾ä×ӵıæÌý׼ȷÂÊÌáÉý89%¡£
ÖÇÄÜÓïÒô¼¼ÊõµÄ½éÈëÓëÓ¦ÓÃ
µ±Ç°ASR£¨×Ô¶¯ÓïÒôʶ±ð£©ÏµÍ³ÔÚ´¦Öóͷ£"¤¢¤Ê¤¿¤Î"ÀàгÒô¶ÌÓïʱչÏÖ³ö¼¼ÊõÓÅÊÆ¡£×îÐÂÑо¿½«·´¿¹ÑµÁ·£¨adversarial training£©ÒýÈëÓïÒôÄ£ÐÍ£¬Í¨¹ý¹¹½¨ÖÐÈÕ»ìÏýÒôËØÊý¾Ý¿â£¬Ê¹»úеÔÚÓïÒôתдʱÄÜ×Ô¶¯Ð£Õý93%µÄгÒôÎó²î¡£Ä³¿ç¹úÊÓÆµ¾Û»á»áÒéÆ½Ì¨µÄʵ²âÊý¾ÝÏÔʾ£¬½ÓÈë¸Ã¼¼Êõºó£¬ÖÐÈÕË«Óï¾Û»á»áÒéµÄÏàͬЧÂÊÌáÉý41%£¬Òªº¦ÐÅÏ¢ÒÅ©ÂÊϽµÖÁ3.2%¡£
¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹ÏÖÏó½ÒʾÁËÓïÑÔÈÏÖªµÄÅÓ´óÐÔ£¬Ò²Íƶ¯×Å¿çÎÄ»¯½»Á÷¼¼ÊõµÄÉú³¤¡£Í¨¹ýϵͳÐÔÓïÒôѵÁ·ÓëÖÇÄܼ¼ÊõµÄ½áºÏ£¬ÎÒÃDz»½öÄÜÆÆ½âµ±Ç°´æÔÚµÄгÒôÎó½â£¬¸üΪ¹¹½¨ÎÞ¹ú½çµÄ¾«×¼ÏàͬÌṩÐÂ˼·¡£ÕÆÎÕ·¢Òô²îÒìµÄ±¾ÖʼÍÂÉ£¬½«³ÉΪȫÇò»¯Ê±´úÓïÑÔѧϰÕߵıر¸¼¼Êõ¡£