Skip to content

题目知识点预测标注。Question knowledge point prediction.

Notifications You must be signed in to change notification settings

jiangnanboy/knowledge-automatic-tagging

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

试题知识点预测

此项目是试题知识点标注。属于多标签文本分类任务。

这里使用TextCNN, Transformer-Encoder等实现多标签分类模型。

数据集包含高中4个科目的题目,每门科目下又有不同的主题。如:历史-古代史(1000) 括号内的数字表示这个主题有1000道题目,总共有29000多道题目。同时,每道题目有许多知识点,如下:

image

image

项目框架

│─data
│   │─data.rar  # 数据集,包括停词
│   
│─textcnn  
│─transformer-encoder
│

首先需要解压原始数据集data.rar。

数据的预处理在transformer-encoder的训练代码中(train.ipynb),处理后的数据会保存在train_data.pkl中。
多标签数据的构建使用torchtext。

为了测试多标签分类的效果,这里只使用了题目中列出的知识点,并且删除了出现次数少于样本1%的知识点,所以剩下73个知识点。 具体可到相关目录查看相关处理程序及模型。 其中[sgns.sogou.char]使用了sogou的预训练向量可从这里下载(https://github.com/Embedding/Chinese-Word-Vectors)。

要求:

  • requirement.txt

参考:

contact

如有搜索、推荐、nlp以及大数据挖掘等问题或合作,可联系我:

1、我的github项目介绍:https://github.com/jiangnanboy

2、我的博客园技术博客:https://www.cnblogs.com/little-horse/

3、我的QQ号:2229029156

About

题目知识点预测标注。Question knowledge point prediction.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published