Urdu QA Model using Rule Based System.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Urdu QA Model using Rule Based System"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A Rule based Urdu Q/A System that inputs a document and a question file and outputs the sentence or line that contains the answer to that question\n",
    "\n",
    "Run the prototype.py file with parameters (document_file, question_file) placed in the input folder. The output is in the answer.txt in the output file. Added a result.xlxs file that tracks the models accuracy on articles from the SQUAD Dataset (Using Google Translate for both document and question). Link to the articles below. for every passage, there are 5 questions. Results saved in the form of yes if the answer matched the websites answer and no if not. Accuracy computed.\n",
    "\n",
    "Link to Articles:\n",
    "\n",
    "1973_oil_crisis: https://rajpurkar.github.io/SQuAD-explorer/explore/v2.0/dev/1973_oil_crisis.html?model=nlnet%20(single%20model)%20(Microsoft%20Research%20Asia)&version=v2.0\n",
    "\n",
    "Harvard_University: https://rajpurkar.github.io/SQuAD-explorer/explore/v2.0/dev/Harvard_University.html?model=nlnet%20(single%20model)%20(Microsoft%20Research%20Asia)&version=v2.0\n",
    "\n",
    "Oxygen: https://rajpurkar.github.io/SQuAD-explorer/explore/v2.0/dev/Oxygen.html?model=nlnet%20(single%20model)%20(Microsoft%20Research%20Asia)&version=v2.0\n",
    "\n",
    "Version 0.1:\n",
    "\n",
    "developed first prototype using maximum keyword matching\n",
    "stripping stopwords from sentence tokens to retrieve keywords\n",
    "\n",
    "Version 0.2:\n",
    "\n",
    "Added rules for Who and How Many Question type\n",
    "improved the sentence score system\n",
    "using a postfix stemmer to retrieve the root of the word\n",
    "using Person Dictionary with names and titles to perform NER\n",
    "Important: use the keywords (kitnay/kitni) near the object you wish to retrieve the quantity for: Example: Dhamakay mai kitnay afrad halak hoay?\n",
    "\n",
    "Version 0.3:\n",
    "\n",
    "Added rules for When and Where question type\n",
    "using date related words for time expressions\n",
    "using locations and city names, along with locational pronouns to identify locations in a sentence\n",
    "tested against some SQUAD dataset articles\n",
    "\n",
    "Version 0.4:\n",
    "\n",
    "Improved Question type detection with more variations in keywords (kis nai)(kis saal)(kon sa mulk)\n",
    "Added improved rules for What and Why Question types"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "Import the functions from prototype.py"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from prototype import *"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The passage is stored inside a .txt file. The question is taken from the user as the input. The function returns a Python List of strings containing all possible answers"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "True\n"
     ]
    }
   ],
   "source": [
    "print(checkIfYear('1894ء'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "اس بحران نے بین الاقوامی تعلقات پر بڑا اثر ڈالا اور نیٹو کے مابین پھوٹ پڑ گئی۔ کچھ یورپی ممالک اور جاپان نے مشرق وسطی میں ریاستہائے متحدہ کی خارجہ پالیسی سے خود کو الگ کرنے کی کوشش کی تاکہ بائیکاٹ کا نشانہ نہ بنیں۔ عرب تیل سازوں نے مستقبل کی پالیسی میں ہونے والی کسی بھی تبدیلی کو جنگ کے درمیان امن سے جوڑ دیا۔ اس کی نشاندہی کرنے کے لئے ، نکسن انتظامیہ نے جنگجوؤں کے ساتھ کثیرالجہتی مذاکرات کا آغاز کیا۔ انہوں نے اسرائیل کو جزیرہ نما سینا اور گولن کی پہاڑیوں سے پیچھے ہٹنے کا انتظام کیا۔ 18 جنوری 1974 تک ، امریکی وزیر خارجہ ہنری کسنجر نے جزیرہ نما سینا کے کچھ حصوں سے اسرائیلی فوجیوں کے انخلا کے لئے بات چیت کی تھی۔ اسرائیل اور شام کے مابین مذاکرات کے طے پانے کا وعدہ مارچ کے سن 1974 میں عرب تیل بنانے والوں کو پابندی ختم کرنے پر راضی کرنے کے لئے کافی تھا۔\n"
     ]
    }
   ],
   "source": [
    "document = 'input/1973_oil_crisis/passages/0002.txt'\n",
    "f = open(document, encoding = 'utf-8')\n",
    "passage = f.read()\n",
    "print(passage)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "question = 'ہنری کسنجر نے کس تاریخ کو جزیرہ نما سینا سے اسرائیلی فوج کے انخلا کے بارے میں بات چیت کی؟'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "answers = getAnswer(document, question, debugging = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[' 18 جنوری 1974 تک ، امریکی وزیر خارجہ ہنری کسنجر نے جزیرہ نما سینا کے کچھ حصوں سے اسرائیلی فوجیوں کے انخلا کے لئے بات چیت کی تھی۔']\n"
     ]
    }
   ],
   "source": [
    "print(answers)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}