Qubot NLU - Revision history

Tkachenko at 08:52, 6 July 2022

2022-07-06T08:52:43Z

Tkachenko at 08:52, 6 July 2022

2022-07-06T08:52:11Z

Tkachenko at 08:51, 6 July 2022

2022-07-06T08:51:26Z

Tkachenko at 08:48, 6 July 2022

2022-07-06T08:48:36Z

Tkachenko at 16:23, 5 July 2022

2022-07-05T16:23:28Z

Tkachenko at 16:06, 5 July 2022

2022-07-05T16:06:49Z

Tkachenko at 15:08, 5 July 2022

2022-07-05T15:08:24Z

Tkachenko at 14:24, 5 July 2022

2022-07-05T14:24:14Z

Tkachenko: Created page with " {{TOCright}} ==Introduction== If you want your bot to be up-to-date and able to process natural text input, then use our innovative technology -..."

2022-07-05T12:56:30Z

Created page with "<span id="qubot-nlu"></span> {{TOCright}} ==Introduction== If you want your bot to be up-to-date and able to process natural text input, then use our innovative technology -..."

New page

<span id="qubot-nlu"></span>
{{TOCright}}

==Introduction==
If you want your bot to be up-to-date and able to process natural text input, then use our innovative technology - Natural Language Processing (NLP). It is NLP that allows your bot to understand the meaning of users' messages and generate appropriate responses. Whether the client wants “two Margherita pizzas and cola” or “cola and cheesecake for two”, the bot will understand and place the correct order.

== How NLP works. General information ==
The essence of the work of NLP comes down to the analysis of the main components of any sentence - '''entities''' and '''intents'''.

*'''Entities''' представляют собой любые объекты реального мира, например, кола (drink), Украина (country), 2022 (number), Дмитрий (name).

*'''Intents''' - это желание клиента описанное в виде предложения, например, я хочу колу (want), как пройти к театру (finding a way), привет (greeting).

Для распознавания намерений используют методы машинного обучения на основе подготовленных фраз-примеров для каждого класса. Эти методы варьируются от простого мешка слов до нейронных сетей достаточно сложной архитектуры. В качестве признаков выступают слова, n-граммы слов, n-граммы букв (борьба с опечатками), наличие знака вопроса и т.д.

Используя комбинации из распознанных сущностей и намерений мы с уверенностью можем констатировать, что именно хочет клиент и предпринять соответствующие действия.

Ниже в таблице 1 представлено несколько простых примеров из бота пиццерии:

<table style="border-style: solid; border-width: 1px; border-color: lightgray;">
<tr><td>'''Сообщение 👩'''</td><td>'''Сущности'''</td><td>'''Намерение'''</td><td>'''Ответ 💻'''</td></tr>
<tr><td>Привет</td><td>-</td><td>greet</td><td>Здравствуйте</td></tr>
<tr><td>Привет, я Марго</td><td>$NAME = Маргарита</td><td>greet</td><td>Очень приятно, Маргарита!</td></tr>
<tr><td>Я хочу две Маргариты и колу</td><td>$NUMBER = 2<br/>$NAME = Маргарита<br/>$DRINK = кола</td><td>want</td><td>Вам оформить заказ:<br/>2 пиццы Маргарита и одна кола?</td></tr>
<tr><td>Я хочу</td><td>-</td><td>want</td><td>Что Вы хотите?</td></tr>
<tr><td>Я хочу в Украину</td><td>$COUNTRY = Украина</td><td>want</td><td>От Вас до Украины 4768.95 км. Удобнее всего Вам будет лететь на самолёте.</td></tr>
</table>

В каждом из представленных примеров бот, несмотря на схожие намерения и распознанные сущности бот дает осмысленные ответы. В случае намерения '''greet''', мы понимаем что $NAME - имя клиента, а в случае намерения '''want''' мы понимаем что $NAME название пиццы.

==Улучшение интеллектуального развития бота==
Описанные ранее общие сведения применяются для работы NLP у многих компаний, это довольно простая схема, только у неё есть недостаток - бот не способен ориентироваться в контексте. Это значит что во всех примерах из таблицы 1 всегда будет один и тот же ответ.

Для предоставления боту большего интеллекта в NLP от QuData используются '''забываемые намерения''', а также механизм сохраняющий историю общения с клиентом.

'''Забываемые намерения''' - это такие намерения, которые происходят вне основного направления бота и забываются при первом же обычном намерении.

Благодаря этому Вам бот может ориентироваться в контексте, а также обрабатывать более сложные цепочки диалогов, например, такие:

''Желтым выделены забываемые намерения.''

<table style="border-style: solid; border-width: 1px; border-color: lightgray;">
<tr><td>'''Сообщение 👩'''</td><td>'''Сущности'''</td><td>'''Намерение'''</td><td>'''Ответ 💻'''</td></tr>
<tr><td>Хочу фанту</td><td>$DRINKS = фанта</td><td>want</td><td>Сколько фанты Вы хотите?</td></tr>
<tr style="background-color: lightyellow"><td>А сколько она стоит?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>Фанта стоит 20 гривен.</td></tr>
<tr><td>Тогда три</td><td>$NUMBER = 3</td><td>[ want, number ]</td><td>Я добавила в заказ 3 фанты</td></tr>
</table>

<table style="border-style: solid; border-width: 1px; border-color: lightgray;">
<tr><td>'''Сообщение 👩'''</td><td>'''Сущности'''</td><td>'''Намерение'''</td><td>'''Ответ 💻'''</td></tr>
<tr><td>/start</td><td>-</td><td>start</td><td>Здравствуйте. Меня зовут Бот. Как Вас зовут?</td></tr>
<tr><td>Меня зовут Катя</td><td>$NAME = Екатерина</td><td>[start, my name is]</td><td>Очень приятно Екатерина, рад знакомству.</td></tr>
<tr style="background-color: lightyellow"><td>Привет</td><td>-</td><td>greet</td><td>Всегда рад поздороваться повторно.</td></tr>
<tr style="background-color: lightyellow"><td>Meня зовут Маша</td><td>$NAME = Мария</td><td>my name is</td><td>Понятно... То есть Вас зовут Мария?</td></tr>
<tr style="background-color: lightyellow"><td>Нет.</td><td>-</td><td>deny</td><td>Как же Вас тогда зовут?</td></tr>
<tr style="background-color: lightyellow"><td>Даша</td><td>$NAME = Дарья</td><td>name</td><td>Понятно... То есть Вас зовут Дарья?</td></tr>
<tr style="background-color: lightyellow"><td>Да</td><td>-</td><td>yes</td><td>Хорошо, Дарья, я это запомню.</td></tr>
<tr style="background-color: lightyellow"><td>Meня зовут Даша</td><td>$NAME = Дарья</td><td>my name is</td><td>Да, Дарья, я знаю.</td></tr>
<tr><td>Я хочу фанту</td><td>$DRINKS = фанта</td><td>want</td><td>Сколько фанты Вы хотите?</td></tr>
</table>

[[Category:Qubot]]
[[Category:ru]]

@@ Line 51: / Line 51: @@
      <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
      <tr><td>/start</td><td>-</td><td>start</td><td>Hello. My name is Bot. What is your name?</td></tr>
-     <tr><td>My name is Katya</td><td>$NAME = Katherine</td><td>[start, my name is]</td><td>ОIt's nice to meet you, Katherine.</td></tr>
+     <tr><td>My name is Katya</td><td>$NAME = Katherine</td><td>[start, my name is]</td><td>It's nice to meet you, Katherine.</td></tr>
      <tr style="background-color: lightyellow"><td>Hi</td><td>-</td><td>greet</td><td>Always happy to say hello again.</td></tr>
      <tr style="background-color: lightyellow"><td>My name is Masha</td><td>$NAME = Maria</td><td>my name is</td><td>I see... So your name is Maria?</td></tr>

@@ Line 43: / Line 43: @@
      <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
      <tr><td>I want fanta</td><td>$DRINKS = fanta</td><td>want</td><td>How many bottles of fanta do you want?</td></tr>
-     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>It's 20 UAH.</td></tr>
+     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td> Fanta costs 20 UAH.</td></tr>
      <tr><td>Then 3</td><td>$NUMBER = 3</td><td>[ want, number ]</td><td>I added 3 bottles of fanta to the order</td></tr>
 </table>

@@ Line 43: / Line 43: @@
      <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
      <tr><td>I want fanta</td><td>$DRINKS = fanta</td><td>want</td><td>How many bottles of fanta do you want?</td></tr>
-     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>Fanta costs 20 UAH.</td></tr>
+     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>It's 20 UAH.</td></tr>
      <tr><td>Then 3</td><td>$NUMBER = 3</td><td>[ want, number ]</td><td>I added 3 bottles of fanta to the order</td></tr>
 </table>

@@ Line 43: / Line 43: @@
      <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
      <tr><td>I want fanta</td><td>$DRINKS = fanta</td><td>want</td><td>How many bottles of fanta do you want?</td></tr>
-     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>Its price is 20 UAH.</td></tr>
+     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>Fanta costs 20 UAH.</td></tr>
      <tr><td>Then 3</td><td>$NUMBER = 3</td><td>[ want, number ]</td><td>I added 3 bottles of fanta to the order</td></tr>
 </table>

@@ Line 30: / Line 30: @@
 ==Improving bot's intellectual development==
-Описанные ранее общие сведения применяются для работы NLP у многих компаний, это довольно простая схема, только у неё есть недостаток - бот не способен ориентироваться в контексте. Это значит что во всех примерах из таблицы 1 всегда будет один и тот же ответ.
+The general information described earlier is used for the work of NLP in many companies, this is a fairly simple scheme, only it has a drawback - the bot is not able to navigate in the context. This means that in all examples from the first  table there will always be the same answer.
-Для предоставления боту большего интеллекта в NLP от QuData используются '''забываемые намерения''', а также механизм сохраняющий историю общения с клиентом.
+To provide the bot with more intelligence, QuData's NLP uses '''forgettable intents''', as well as a mechanism that saves the chat history with the customer.
-'''Забываемые намерения''' - это такие намерения, которые происходят вне основного направления бота и забываются при первом же обычном намерении.
+'''Forgettable intents''' are intents that happen outside the bot's mainstream and are forgotten at the first normal intent.
-Благодаря этому Вам бот может ориентироваться в контексте, а также обрабатывать более сложные цепочки диалогов, например, такие:
+This way, the bot can understand the context, as well as process more complex dialog chains, for example, these:
-''Желтым выделены забываемые намерения.''
+''Forgotten intents are highlighted in yellow.''
 <table style="border-style: solid; border-width: 1px; border-color: lightgray;">

@@ Line 27: / Line 27: @@
 </table>
-The bot gives meaningful answers in every given example despite similar intentions and recognized entities. В случае намерения '''greet''', мы понимаем что $NAME - имя клиента, а в случае намерения '''want''' мы понимаем что $NAME название пиццы.
+The bot gives meaningful answers in every given example despite similar intentions and recognized entities. In the  intent '''greet''', we understand that $NAME is the customer's name, while in the intent '''want''' we understand that $NAME is the name of the pizza.
-==Улучшение интеллектуального развития бота==
+==Improving bot's intellectual development==
 Описанные ранее общие сведения применяются для работы NLP у многих компаний, это довольно простая схема, только у неё есть недостаток - бот не способен ориентироваться в контексте. Это значит что во всех примерах из таблицы 1 всегда будет один и тот же ответ.
@@ Line 41: / Line 41: @@
 <table style="border-style: solid; border-width: 1px; border-color: lightgray;">
-     <tr><td>'''Сообщение 👩'''</td><td>'''Сущности'''</td><td>'''Намерение'''</td><td>'''Ответ 💻'''</td></tr>
+     <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
-     <tr><td>Хочу фанту</td><td>$DRINKS = фанта</td><td>want</td><td>Сколько фанты Вы хотите?</td></tr>
+     <tr><td>I want fanta</td><td>$DRINKS = fanta</td><td>want</td><td>How many bottles of fanta do you want?</td></tr>
-     <tr style="background-color: lightyellow"><td>А сколько она стоит?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>Фанта стоит 20 гривен.</td></tr>
+     <tr style="background-color: lightyellow"><td>How much does it cost?</td><td>-</td><td>[ want, what-is-the-price ]</td><td>Its price is 20 UAH.</td></tr>
-     <tr><td>Тогда три</td><td>$NUMBER = 3</td><td>[ want, number ]</td><td>Я добавила в заказ 3 фанты</td></tr>
+     <tr><td>Then 3</td><td>$NUMBER = 3</td><td>[ want, number ]</td><td>I added 3 bottles of fanta to the order</td></tr>
 </table>
 <table style="border-style: solid; border-width: 1px; border-color: lightgray;">
-     <tr><td>'''Сообщение 👩'''</td><td>'''Сущности'''</td><td>'''Намерение'''</td><td>'''Ответ 💻'''</td></tr>
+     <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
-     <tr><td>/start</td><td>-</td><td>start</td><td>Здравствуйте. Меня зовут Бот. Как Вас зовут?</td></tr>
+     <tr><td>/start</td><td>-</td><td>start</td><td>Hello. My name is Bot. What is your name?</td></tr>
-     <tr><td>Меня зовут Катя</td><td>$NAME = Екатерина</td><td>[start, my name is]</td><td>Очень приятно Екатерина, рад знакомству.</td></tr>
+     <tr><td>My name is Katya</td><td>$NAME = Katherine</td><td>[start, my name is]</td><td>ОIt's nice to meet you, Katherine.</td></tr>
-     <tr style="background-color: lightyellow"><td>Привет</td><td>-</td><td>greet</td><td>Всегда рад поздороваться повторно.</td></tr>
+     <tr style="background-color: lightyellow"><td>Hi</td><td>-</td><td>greet</td><td>Always happy to say hello again.</td></tr>
-     <tr style="background-color: lightyellow"><td>Meня зовут Маша</td><td>$NAME = Мария</td><td>my name is</td><td>Понятно... То есть Вас зовут Мария?</td></tr>
+     <tr style="background-color: lightyellow"><td>My name is Masha</td><td>$NAME = Maria</td><td>my name is</td><td>I see... So your name is Maria?</td></tr>
-     <tr style="background-color: lightyellow"><td>Нет.</td><td>-</td><td>deny</td><td>Как же Вас тогда зовут?</td></tr>
+     <tr style="background-color: lightyellow"><td>No.</td><td>-</td><td>deny</td><td>What is your name then?</td></tr>
-     <tr style="background-color: lightyellow"><td>Даша</td><td>$NAME = Дарья</td><td>name</td><td>Понятно... То есть Вас зовут Дарья?</td></tr>
+     <tr style="background-color: lightyellow"><td>Dasha</td><td>$NAME = Daria</td><td>name</td><td>I see... So your name is Daria?</td></tr>
-     <tr style="background-color: lightyellow"><td>Да</td><td>-</td><td>yes</td><td>Хорошо, Дарья, я это запомню.</td></tr>
+     <tr style="background-color: lightyellow"><td>Yes</td><td>-</td><td>yes</td><td>Okay, Daria, I'll remember that.</td></tr>
-     <tr style="background-color: lightyellow"><td>Meня зовут Даша</td><td>$NAME = Дарья</td><td>my name is</td><td>Да, Дарья, я знаю.</td></tr>
+     <tr style="background-color: lightyellow"><td>My name is Dasha</td><td>$NAME = Daria</td><td>my name is</td><td>Yes, Daria, I know.</td></tr>
-     <tr><td>Я хочу фанту</td><td>$DRINKS = фанта</td><td>want</td><td>Сколько фанты Вы хотите?</td></tr>
+     <tr><td>I want fanta</td><td>$DRINKS = fanta</td><td>want</td><td>How many bottles of fanta do you want?</td></tr>
 </table>
 [[Category:Qubot]]
 [[Category:ru]]

@@ Line 8: / Line 8: @@
 The essence of the work of NLP comes down to the analysis of the main components of any sentence - '''entities''' and '''intents'''.
-*'''Entities''' представляют собой любые объекты реального мира, например, кола (drink), Украина (country), 2022 (number), Дмитрий (name).
+*'''Entities''' are any real world objects, e.g. cola (drink), Ukraine (country), 2022 (number), Dmitry (name).
-*'''Intents''' - это желание клиента описанное в виде предложения, например, я хочу колу (want), как пройти к театру (finding a way), привет (greeting).
+*'''Intents''' are the client's wishes described as a sentence, for example, I would like a cola (want), how to get to the theater (finding a way), hello (greeting).
-Для распознавания намерений используют методы машинного обучения на основе подготовленных фраз-примеров для каждого класса. Эти методы варьируются от простого мешка слов до нейронных сетей достаточно сложной архитектуры. В качестве признаков выступают слова, n-граммы слов, n-граммы букв (борьба с опечатками), наличие знака вопроса и т.д.
+To recognize intentions, machine learning methods are used based on prepared phrases as examples for each class. These methods range from a simple bag-of-words to neural networks of fairly complex architecture. Words, n-grams of words, n-grams of letters (combating typos), the presence of a question mark and others are  used as features.
-Используя комбинации из распознанных сущностей и намерений мы с уверенностью можем констатировать, что именно хочет клиент и предпринять соответствующие действия.
+Using combinations of recognized entities and intents, we can confidently state what the client wants and take appropriate actions.
-Ниже в таблице 1 представлено несколько простых примеров из бота пиццерии:
+There are some simple examples from a pizzeria bot in the table below:
 <table style="border-style: solid; border-width: 1px; border-color: lightgray;">
-     <tr><td>'''Сообщение 👩'''</td><td>'''Сущности'''</td><td>'''Намерение'''</td><td>'''Ответ 💻'''</td></tr>
+     <tr><td>'''Message 👩'''</td><td>'''Entities'''</td><td>'''Intents'''</td><td>'''Reply 💻'''</td></tr>
-     <tr><td>Привет</td><td>-</td><td>greet</td><td>Здравствуйте</td></tr>
+     <tr><td>Hi</td><td>-</td><td>greet</td><td>Hello</td></tr>
-     <tr><td>Привет, я Марго</td><td>$NAME = Маргарита</td><td>greet</td><td>Очень приятно, Маргарита!</td></tr>
+     <tr><td>Hi, I'm Margo</td><td>$NAME = Margaret</td><td>greet</td><td>Nice to meet you, Margaret!</td></tr>
-     <tr><td>Я хочу две Маргариты и колу</td><td>$NUMBER = 2<br/>$NAME  = Маргарита<br/>$DRINK = кола</td><td>want</td><td>Вам оформить заказ:<br/>2 пиццы Маргарита и одна кола?</td></tr>
+     <tr><td>I would like two Margheritas and a cola</td><td>$NUMBER = 2<br/>$NAME  = Margherita<br/>$DRINK = cola</td><td>want</td><td>Would you like to place an order for:<br/>2 Margherita pizzas and one cola?</td></tr>
-     <tr><td>Я хочу</td><td>-</td><td>want</td><td>Что Вы хотите?</td></tr>
+     <tr><td>I would like</td><td>-</td><td>want</td><td>What would you like?</td></tr>
-     <tr><td>Я хочу в Украину</td><td>$COUNTRY = Украина</td><td>want</td><td>От Вас до Украины 4768.95  км. Удобнее всего Вам будет лететь на самолёте.</td></tr>
+     <tr><td>I would like to go to Ukraine</td><td>$COUNTRY = Ukraine</td><td>want</td><td>The distance from you to Ukraine is 4768.95 km. It will be most convenient to fly by plane.</td></tr>
 </table>