CAIL2018法研杯司法人工智能竞赛总结

CAIL2018线上测试阶段已于7月14日截至，初赛阶段一个有262个队伍参加，复赛阶段一共有207个队伍参加，然后接下来就是一个月的线下封闭测试阶段。由于我在团队中负责的是任务三刑期预测这个项目，最终线上测试阶段的成绩是75.0，官方的baseline成绩是50分的样子。排名是19th/207。所以这两天总结下比赛的一些总结与体会。

CAIL2018竞赛简介

法律智能旨在赋予机器阅读理解法律文本与定量分析案例的能力，完成罪名预测、法律条款推荐、刑期预测等具有实际应用需求的任务，有望辅助法官、律师等人士更加高效地进行法律判决。近年来，以深度学习和自然语言处理为代表的人工智能技术取得巨大突破，也开始在法律智能领域崭露头角，受到学术界和产业界的广泛关注。

为了促进法律智能相关技术的发展，在最高人民法院信息中心、共青团中央青年发展部的指导下，中国司法大数据研究院、中国中文信息学会、中电科系统团委联合清华大学、北京大学、中国科学院软件研究所共同举办“2018中国‘法研杯’法律智能挑战赛（CAIL2018）”。

挑战赛将提供海量的刑事法律文书数据作为数据集，旨在为研究者提供学术交流平台，推动语言理解和人工智能领域技术在法律领域的应用，促进法律人工智能事业的发展。

比赛项目与问题分析

这次比赛分成三个子项比赛，任务一是罪名预测，根据一段处理过后的法律文本描述（只保留fact犯罪事实部分）来预测被告人所犯了哪些罪名,初次看上去应该是个文本分类的问题，但是不同于一般的文本分类label往往对应的是单标签，我们根据一段文书预测的罪名往往可能涉及了多个罪名，所以它是一个多标签文本分类的问题。评分公式采用的是微平均F1值（Micro-F1-measure)和宏平均F1值（Macro-F1-measure）作为评价指标。

任务二是案由（法条）预测，即根据fact给出推荐的法条（即比如对被告人判罚的时候需要根据刑法或者民法的第xx条，判罚xx罪)，在我看来，这个功能其实挺实用的，因为法条这么多，人工去寻找案件涉及的法条还是比较麻烦和耗费时间的，这个功能可以帮助法官快速查找法条。任务二从问题的本质来看和问题一是一样的二者都是多标签的文本分类问题。

tensorflow-gpu版本的编译

tensorflow的安装方法有两种，一种是直接通过pip安装

1

pip3 install tensorflow-gpu

但是这种直接安装源内编译好的tensorflow会有很多功能没有，比如支持kafka,hadoop之类的功能。所以建议通过在github上面下载源码的方法进行安装是比较好的方法。

bazel的安装

网上很多教程给的都算添加apt源的方法下载安装，但是实际中是不可行的，因为bazel的源是谷歌的，所以终端apt无法下载下来，所以直接去git上面下载bazel下载bazel--installer-linux-x86_64.sh这种脚步安装文件。然后先要通过apt下载bazel的一些依赖软件。

1

sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python

然后安装

1
2

chmod +x bazel-<version>-installer-linux-x86_64.sh
./bazel-<version>-installer-linux-x86_64.sh --user

--user是把bazel安装$HOME/bin路径下面。 安装完以后设置环境变量。

1

echo "PATH=$HOME/bin:$PATH>">~/.bashrc

什么是cuda和cudnn?

CUDA（Compute Unified Device Architecture，统一计算架构）是由NVIDIA所推出的一种集成技术,通过cuda这项技术可以使得用户对nvidia显卡进行计算,cudnn是nvidia推出的深度神经网络加速计算的库。

在win10上面安装cuda9.0和cudnn7.1

win10上面安装cuda和cudnn没有遇到什么坑，先去官网下载cuda9.0的win10的exe安装包，点击默认安装就可以了，然后再去下载cudnn7.1,解压后把里面的lib和include文件夹拷贝到cuda安装目录下面的lib和include文件夹下面。然后设置下环境变量，把cuda下面的bin路径加入到path就可以了，然后nvcc -v查看一下有没有弄好。

ubuntu上面nvidia显卡驱动的安装

在安装cuda之前要先安装nvidia的驱动才行，ubuntu默认的驱动是noveau的驱动，安装nvidia驱动有两种方式一种是去nvidia官网下载对应型号的显卡驱动，不过不建议这种方式这种方式很容易出问题，还有一种方式是命令安装的方法(源内）

1
2
3

d@d-P65xHP:~$ ubuntu-drivers list
nvidia-384
d@d-P65xHP:~$ sudo apt install nvidia-384

什么是Logistic Regression

逻辑斯蒂回归本质上是一个线性的二分类算法，通过sigmod函数把线性函数 \(z=w^T*x+b\) 从实数范围映射到\([0,1]\)之间，来表示一个概率值。

sigmod函数

我们先来看看sigmod函数长啥样，\(sigmod(z)=\frac{1}{1+e^{-z}}\)

用matplotlib把它画出来

1
2
3
4
5
6
7
8
9

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
def sigmod(x):
    return (1/(1+np.exp(-x)))
x=np.linspace(-10,10,50)
y=sigmod(x)
plt.plot(x,y)
plt.show()

png

sigmod函数有个很特别的地方就是
$ y'==y*(1-y) $

难忘Nagoya 难忘robocup

师范学校男女比例真的是3:7吗？哪些专业女生人数比较多？哪些专业男生比较多？ .....

数据来源

数据是每年体测后班级群拿到的全校的体测数据xml格式的表，笔者直接用wps另存为csv格式文件，以便方便用pandas分析

1
2
3
4
5
6

import pandas  as pd 
import matplotlib.pyplot as plt

data=pd.read_csv('2017年合师体测原始数据.csv')
#我们看看表的前5行
data.head()

什么是线性回归?

1.给定由个特征描述的示例\(X=(x_1;x_2;x_3;..;x_n)\)其中\(x_i\)是x在第i个属性上面的取值，线性模型通过学得一个线性组合来进行预测的函数,如果把w和x都写成向量的形式的话，那么模型可以一般写成 \[ h(X)=W*X+b \] 其中\(w=(w_1;w_2;..;w_n)\)， w和b学得以后模型就得以确定,h的值就是w和x向量的点积加上偏置b
在机器学习计算中一般都写成矩阵的形式方便计算，可以把x看成(m,n)列的矩阵 \[ x=[[x_{11},x_{12},x_{13}...,x_{1n}]，...,[x_{m1},x_{m2},x_{m3},..x_{mn}]] \] m表示有m条数据集，n表示每条数据集的特征维度 \[ w=[[w_1,w_2,w_3...,w_n]] \]
这样的话写成矩阵的形式就是 \[ h(x)=X*{W.T} \tag{1} \] 在周志华的<<机器学习>>中,把向量表达的时候也有了转置的1表达式的形式,我觉得不是很严谨，向量应该没有转置的概念,只有把向量写成矩阵的形式才能用1式表达.

损失函数(loss function)

线性模型中一般用均方差作为损失函数

出发

什么是正则表达式？

用来匹配目标字符的规则

常用的元字符

（字符的开始或者结束)
^匹配行首
$匹配行尾
()分组 |分支

什么是正则表达式？

用来匹配目标字符的规则

常用的元字符

（字符的开始或者结束)
^匹配行首
$匹配行尾
()分组 |分支