近纲写的几篇文章

以士绅阶层变动论中美贸易战是否是“清军入关”
On whether the trade war between China and the U.S. is "the Qing Dynasty's entry into China" based on the change of the scholar and gentry class

摘要:在历史学研究中,拓扑思维和历史周期率是恒久不变的两种手段,不同时间的不同无非是局部的不同,而在简单的比对中总是有很多谬误,就比如最近甚嚣尘上的“入关学”,即当今的中国是皇太极领导下的大清而美国是当时的大明。本质上是一种否认两者统治思路本质和两者目的的区别的片面推断,这与蓬佩奥所提冷战2.0,将当今中国与上世纪50年代的苏联相提并论如出一撤。我提出一种由士绅阶层变动为导向讨论中华民族统治的本质,从而驳斥“入关学”。

关键词:入关 士绅 拓扑比对 中美格局

士绅阶层广泛存在于中国社会,在古代,中国人没有所谓的家国情怀,而是认同“杨家寨”、“李家帮”所代表的部族,在这个部族中,相对自给自足。为何在历史的任何时代都有如此多的“汉奸”,从经济帐上来看,只是因为在部族中的个体对部族而非家国的效忠。《天朝的崩溃》中提及有人提供粮食给英军,日伪满政府中有大把满人组成的“伪军”,本质上是“琦善卖国说”。从这个意义上来讲,中华民族从来都是部族的个体意志大于集体主义的趋利避害思维。明清以来,“皇权不入乡”与“天高皇帝远”规范了部族的领袖作为承上启下的“传话筒”,百姓只要相信此类人,利益瓜分更加有效率,也能自得其乐。对朝代更替,其实并无想法。
士绅其实指的就是士族和乡绅的结合体。前者是当地的名门望族,后者是通过科举选拔制度留守在当地的读书人,这确保了智囊和财富累积的人才供给,他们的普遍想法决定了中国的思潮走向。这就是精英专政。科举制度、联姻及“轻商”保证了此类人的流动性。这点与林语堂的《吾国与吾民》中后续推演的家国情怀相互佐证。
直至近代,为何孙中山十数次的革命没有成果,却在辛亥革命前后引发了全国性的相应,本质上是保路运动让士绅认清推翻先有政府能让原有政策的既得利益集团的利益能被士绅瓜分。蒋介石下令北伐就能成功,不是因为他是黄埔军校的校长,而是他了解江南财阀的需求,如果他忤逆士绅想抗日的决心,也会被历史所左右。抗日花了十数年,而毛泽东以何一年解放中国成功,他做了推翻先有士绅阶级(土豪),建立了新的,以共产党为领导的工农阶级(无产阶级)所形成的士绅。现在的士绅便是有学识的商人及中国共产党党员。天下以农民起义得政权的人物不多,也就刘邦、朱元璋、李自成、洪秀全及毛润之,如果取得不了士绅的信任,也就数十年光景。
“入关”,在柯娇燕的语境中是指在中央对边境控制的过程中仅扮演一个财富提供商,由江浙的财阀、当地的士绅、女真等少数名族在边境形成转口贸易市场,本质上是中央撒币来维护周边少数民族的稳定。可中央无钱时,养好的肥肉都纷纷起义,这就是皇太极。这不是一种殖民,而是在维系统治的一种手段,而人靠利益联结在了一起。可蛮夷还是蛮夷。
“入关”本身是一个正常的市场行为,如果中央财政拨不出钱就由我来管理。再重建政治制度并建立中央银行重新分配民族之间的关系。满人确实利用了五族之间的克制关系建立了一个稳定的政权,同时边境问题也基本被解决。五胡乱华之后,中华民族的思维是如果你认同中华民族的文化就是中国人,而不是靠血统,这无疑让满人汉化,虽然在传统儒家的观念里,这是夷狄乱了华夏,可也是一种反相同化的过程。
通过拓扑思维来链接清军与当今之中国,明朝与美国,把中国“取代”美国成为世界上最强大的国家这一即将发生的历史事件,表面似是相同,但本质完全不同。
表面上,美国是当今世界文明中心和全球事务主导者,这种支配地位正式当年的大明所拥有的。从文明来看,大明对周边实行的是王道,同为世界中心,郑和对当时认知下的全世界的访问,带去的是和平与繁荣,明成祖希望的是来自“天朝上国”的恩泽,一个超级强国对弱国没有倚强凌弱,没有征服与殖民,却行王道,厚往而博来,此之谓文明。而当今的美国确带来的是杀戮与灾难。1989年美国出兵巴拿马,为的是巴拿马运河的经营权,总统直接入狱40年,他只是拒签1977年巴美签订的1999年所有美军从巴拿马撤走的续签条款。除此之外,朝鲜、越南、伊拉克、阿富汗、叙利亚,不知道有多少国家的人民被美国搞得生灵涂炭、颠沛流离。
文明不是一蹴而就的,200年的岛洲历史和盎格鲁撒克逊人的剥削文化并不能让其在强大科技和军力财力的过程中,看到、思考这么多,美国的精英只能从短暂的历史中寻找答案。
同时,中国不是满清,从民族上,当今的中国更像是汉族专政的大明,无论是对边境的事物上,还是国际事物上,所以从历史周期论讲,中华民族伟大复兴更像是“反清复明”。入关前的清是夷狄,非文明社会,是东北亚的渔猎民族,他们的社会形态是松散的部落,政体上和军事上没有像样的制度和架构,就是原始的奴隶制。明朝初期,他们被朝鲜人奴役,明太祖心软,才放他们在外兴安岭繁衍存续。
从本意上来讲,文明解放军在对待不共戴天的日本战俘和内战俘获国军战俘的人道主义精神,着实值得尊敬。在上世纪中叶的援助非洲,非洲兄弟报之以琼瑶——把中华人民共和国投进了联合国。亚投行的初心虽然是去产能、供给侧及后来地缘政治的考量,却也验证了文明的“你好我好大家好”的思维,与郑和下西洋如出一撤。反观朝鲜战场美军如何面对战俘?水刑。罄竹难书、无所不用其极。
中国的士绅阶级经过了五四的启蒙,文革的苦难,《河殇》的转折,至今,一个强大统一而又全面崛起的中国,正在面对新的“华夷之辨”。「夷狄之人貪而好利,被髮左衽,人面獸心。」,将中国的士绅阶级比做夷狄,着实是华夷错位。入关以后,扬州被屠城、湖广填四川;和平演变之后,南斯拉夫再也无往昔之荣光。士绅阶级在
美国对中国在经济和话语权上的打压来看,很有可能是先把你打趴下再继续贸易,和边民想收到中央的恩惠一样,是一种强盗思维。
从中美贸易战的博弈过程中来看,美国似是国立大势已去的清军,明成祖穿越于努尔哈赤的时代,把清军弄个底朝天。如若将中国和美国和明清的关系易位,是否能满足拓扑比较理论呢?其实还是不全面的,我认为美国做的还不如清军。
回到士绅阶级的论述,清军是如何占领士绅的呢?清军入关时写道:“俺汉人,百敌一,都是有剩;为什么,寡胜众,反易天常?只缘我,不晓得,种族主义;为他人,杀同胞,丧尽天良。”表面上是中国人自己人打自己人,或者映射到现在就是以公知为首的人提倡全盘西化,又有一帮人在走自己的中国特色社会主义道路。在入关以前,皇太极已经取得了边民少数民族的士绅阶级,从而通过利益绑定渗透到边民士绅和江南财阀。彼时新“天下”概念,汉人已经占其治下的多数。通过“剧场国家”理论,皇太极是蒙古大汗,清朝皇帝以及满族首领。中华士绅认同的只是他清朝皇帝的概念,同时又对蒙古人、旗人有所忌惮。已然形成了一个正统王朝的必然条件,通过控制士绅来控制汉人王国。
而美国想在中美贸易战中对中国进行制裁,居然打出了“反共不反中”的口号,他的言下之意是士绅阶级与中国是割裂开的。美国的执政者以蛮夷之姿,全连中国的统治本质都不了解,甚至连皇太极都不如。
至于历史周期论,还是有很多门道的,历史上任何掌权的人都是有头有脑的人,虽然有很大局限性,譬如川普政府之于空一格公,再如我认为当今的中国在重演明的历史。从蓬佩奥对新冷战的定义我感觉就是他们能从自己的历史中找到的比对样本太少,绝非像在中国历史乃至世界历史这个图灵完备的课本中。诚然,现代有更好的统计工具去做各个指标的对应,可中国仍由士绅阶级所决定。明清的历史沙盘纵使推演上千遍,也不及抓住这个本质重要,这也是让如今的士绅看清国际局势,向历史有所借鉴的最好座右铭。

中国内外交困近代史统治者心态变化的缩影
——荣国府的流水账
The Dust of Chinese Modern History

摘要:历史是一个任人打扮的小姑娘,无论现代人如何对历史总结及汇总,总是少不了谬误,以及对谬误的翻案。我不是一个考据的学者,如绝大多数人一样,以史为鉴,唯取一瓢饮。既然中国近代史是中国统治集团内部危机和外部势力的实力博弈过程,明清又有着不同的“超我”、“本我”以及“自我”,我想以一个容国府的视角,窥探明清直至明国的统治者心态及对外部敌对势力的心态变化。

关键词:内外交困 统治者 心态变化 荣国府

在贾府的决策者中,一直存在这三种思想,对应弗洛伊德所提出的“超我”、“本我”以及“自我”。“超我”便是贾夫人死后,贾府中再没有在朝廷中有与之对应荣华富贵的爵位,贾母如何延续荣国府的往日荣光,如何继续给予如刘姥姥等下层人高高在上的目光。活在牢笼中的人是可怜的,容易被无限的财富蒙蔽了双眼,殊不知“白茫茫一片真干净”已在明天,半奴半主王熙凤用往日的威严压迫家中奴隶。“自我”便是实际管理者王熙凤采取利用月钱放高利贷的手段为贾府的庞大开支续命,可贾雨村、贾政等最多只能混上五品官,并不能罩住这个勾当,贾探春尝试过用改革的方法治理,被王夫人五十九回的“还得请一个人打理”给打破了,后来就没了后文,探春也出嫁了,再后来探春就薨了。
索隐派红楼梦学者,如北大校长蔡元培先生认为《明月宝鉴》是一部政治隐喻史。蔡元爬杖生推断书中多次提到的红代表明朝政权,而曹雪芹批阅十载也是在悼红轩,似乎有悼明之意。书中第一回说到空道人改《石头记》为《情僧录》,古人常言,清风明月,比如雍正年间著名的文字狱,清风不识字,何故乱翻书,虽然这就是本身无关政治,但可以看出当时的文人或许会用一些隐晦的词表达自己对时尚的看法,所以风月有可能影射清明两个政权。书中男子都是满人,女子都是汉人。我国古代哲学常以阴阳二字说明一切对待着事物,男女分别对应养阴,石头记第三十一回,湘云说,天是阳,地就是阴,熊为阳,祠为阴,翠绿道主子为阳,奴才为阴。蔡元培认为,由于本书满人为主,汉人为奴才,那么宝玉所说我见到女子便觉清爽,见到男人就觉浊臭逼人,在隐晦的表达作者的复明之意。
如此红楼梦与清朝的关系有所确立。清朝统治者眼里,似也存在这三种思想,“超我”对应清朝的治理方向与水平。想要以后金来正统上位,获得朝代潮流士大夫的赏识,做的却是污蔑明朝成就的勾当,想要以收复台湾复汉官之威仪,以义和团战斗来复天朝上国之威仪,出来混,总是要还的,“本我”之下台湾的收复真的是郑成功运气好,面对荷兰的船坚炮利,当时的舰队只能说旗鼓相当,而非完全碾压,而是占据了天时地利人和。郑成功后人没能发挥他祖宗的才能,被康熙打败了。早在清中早期的统治者面前,国库还算富庶的情况下,他们就知道了西方的科技,只是没能领略这是跨代的差距,可以说是被短暂的成功蒙蔽了眼睛。清朝要巩固的是五族的统一,实话说在嘉庆年间就有农民起义能共进北京城。清朝的文字狱是最猖獗的,也是统治者背后悬梁锥刺股的寒意。
1 贾府的选择及“剧场国家”理论
几乎所有贾府的管理者在府上都是千人千面的。贾母虽然是家中的最后敲板人,可在王熙凤面前就会露出少有的怜爱,在刘姥姥二进大观园的档口,没有体现出高高在上的姿态,虽然认知水平和底层有冲突,可还是喜迎喜送。贾母曾经同样爱惜过贾探春以及李纨等人,她们在凤姐面前还确实是不值一提。凤姐在贾府的丫鬟,其他管理者面前还是体现出一种威严的感觉,同时剥削让她们活得无法喘气,似有点今日的日本“社畜”。王熙凤是在长时间掌握贾府月钱分发实权之后才敢放贷给缺钱的人,对外人的求情,转化为可以量化成钱的交易,徇私枉法。高价购买伪劣产品或者将贪污的钱入在流年账上,分别填补开销过去。好似当今的公司股价一天天的下跌,可是懂的人早就最高价甩卖走人了。如果有什么能占便宜的活,马上截取下来,成为新的谋钱手段。
清朝人不靠皇权而统治汉人,“剧场国家”理论认为满清的皇帝在不同种族人面前都在扮演其对应民族的最高统帅。我们典型的观念面,或者说汉人的史书上,清代的崛起,是北方游牧民族政府南方农耕民族的过程,其本质和五胡乱华、蒙古建立元朝不无差别,这是夷狄乱了华夏。而这本质上也是不对的。从满洲人的角度上看,我从边疆朝贡贸易不能赚到中央财政拨过来的钱,那就和关内的人合伙打劫,一起骗中央财政,可是中央再也拨不出钱的时候,等到边民没有那么有能力的时候就趁火打劫。夺取政权以后,清朝皇帝也是千人千面。他们似在关外就想清楚了这个问题。无论国家、家族抑或公司都需要一个想象共同体来支撑,可以是共同的梦想,可以设计假想敌,也可以对不同人采取不同的洗脑策略。美国当今干的勾当是竖切人群,拔起分成各类少数族裔,从而让每个人相信对政府的维权可以持续,而每个人都成不了气候。
“剧场国家”是顺延明朝对中国的统治的基础上完成对满人、藏人、新疆少数族裔等的统一管理。在更远的边疆,比如当今的西伯利亚贝加尔湖,管理没有那么强有力,但汉人及满人的精神还是在的,只是被沙俄帝国主义的流放犯人的无耻打败了。在边疆以外,清朝采取了与明朝相似的边境贸易策略从而维护松散的繁荣假象。在观看了同好游历海参崴、西伯利亚、蒙古国等地,我感觉清朝显然对其没有有效的控制,连教育都没能在时代的长河中对当地人产生些许的影响。蒙古国的思维完全是沙俄思维,美国的影响也有。在新疆等地,他们的民族向心里没有那么深,在游历土耳其后,我发觉突厥语的典籍和汉文化的完全不一致,突厥人的后裔可以说是表面兄弟他们由他们完整的一套话语体系。我认为剧场国家在对边疆的控制尽如此,更多的是对汉人的威慑,其他三族的管控可以说几乎没有。
贾府在后续逐渐的荒凉我认为并不全是人的慢慢离去,而是,自上而下大家觉得维护这样一个贾府还很昌盛的“剧场”太无聊了,早就失去实权的府上,再能敛财也不过是公家的钱,再能在最后撑足面子做一个贾府的寿宴。慈溪能在最后还想着给自己庆生。“剧场国家”的维护过程与面子无异。
2 商品经济的涌入与早期的资本阶级萌芽
王熙凤的高利贷的存在对应晚清兴盛的钱庄。可问题是这些钱庄做不了现代银行薅羊毛的手段:印钞票。钱庄是不是一个资本主义的集散地呢?是的。可是钱庄的敛财能力还不够,或者说当时的商品经济的发达水平还不足以孕育一个合格的资本主义市场,从而更好的投机。王熙凤的行为,更像是初出茅庐的投机者,借父母的银子玩一玩。商品经济的萌芽实际上在晚明早清的时候就有,红楼梦中的一种碗具就是进口自英吉利。其实当时的货物交换就已然有了,不过只在顶级富豪家才有。
我暑假实习的公司的竞争对手一家股票投资商人Optiver,他们在做宣传的时候就说他们是荷兰大航海时代对他们船上的货物的担保,可见商业文明的发达。在晚清各大银行搜刮了大清的铸币税,随意的在上海发钱投机,说实话就是清晚期受到资本的降维打击。同时也对当时的钱庄有所影响,可以从各大银行相互借钱还钱。说到晚清商人的投机,许多人想到的就是罪恶的资本主义世界里贪婪的商人形象,最容易与经济泡沫、金融海啸联系起来,直观上感觉投机是百害而无一利的。许多人认为投机就是参与一场赌博或者骗局,少数人暴富而多数人破产,所有投机者都试图通过不劳而获暴富,而损失让别人承担,因此堪称是资本主义罪恶性的集中体现。
投机的目的是为了获取超额收益,也就是超过市场整体平均的收益。完美的市场是达到均衡状态的市场,所有卖方都能将出售的商品以均衡价格卖出,而所有买方都能将需求的商品以均衡价格买入,价格完美地由供求决定。在这样的市场上投机收益的期望就是市场平均的收益,这样的市场被称为有效市场(Efficient Market)。有效市场是市场的最佳形态,买卖双方的利益均达到了最大化,资源配置达到了帕累托最优。上世纪二十年代的上海就是这样一个投机的地方。
明清两代的统治者对金融的管控自古以来就很强,北京对江浙财阀的限制永远是从开国时的紧到慢慢松的过程。这种东西就是靠脑子就能玩的很强的,只是到一定程度的投机也会如凤姐一样被一锅端。这种完全靠吸百姓血而生的勾当势必会被当局所处置。
3 五胡乱华与满洲人的关系
明代对抗外族侵袭的方法就是边境贸易,让利一份给边民从而换取和平。中央对边境控制的过程中仅扮演一个财富提供商,由江浙的财阀、当地的士绅、女真等少数名族在边境形成转口贸易市场,本质上是中央撒币来维护周边少数民族的稳定。可中央无钱时,养好的肥肉都纷纷起义,这就是皇太极。这不是一种殖民,而是在维系统治的一种手段,而人靠利益联结在了一起。可蛮夷还是蛮夷。大明在面对两者的联合是没办法翻身的。
清朝治下的旗人和满洲人是完全不一样的概念。旗人指的是跟随大清入关的所有人。其中既有满洲八旗,也有汉军八旗,就是汉人,还有蒙古八旗。“旗人”在政治、经济、社会各方面享有诸多特权。比如,旗人世代不必从事劳动生产,其生活来源全部由国家承担。旗人比民人享有更多的机会做官。旗人只是对应特权阶级,我们可以很清楚的看到曹家是满人也是汉军正白旗人。曹家在文化上变成了满人,汉化的满人。《东华录》中有载,雍正十八年六月,逝祖遗诏下令满人见习,汉族,又有康熙十五年十月议政王大臣等上奏,八旗子弟由于武备危机,事后请将旗下子弟考试生源举人进士暂令停止。也就是说亲弟为了笼络汉人巩固统治,已经下令清廷贵族学习汉族文化。只是到了辛亥革命前后,革命党为了强调民族区别,才把“旗人”和“满洲人”这两个概念混同起来。
近代史中,统治者从来都是想着如何继承前朝的正统性,从来没有崖山之后无中华或者崇祯被入关之后无中华的臆想。统治者从来不会不承认元清两代,至少不会放弃他们所代表的疆域,没有实力的时候至少先买个关子待定,等被对方完全控制的时候再承认也不迟。这种中庸思想在非洲抑或北美都是无法想象的。
4 荣国府的边界以及近代史的边界
荣国府的边界说是荣国府的疆域范围,包括大观园等。荣国府的势力范围并不仅仅局限于此。可以说,荣国府的边界,就是其利用其权力范围可以做到的自救所产生的边界。它的财富染指当地的平民,他的权力被隔壁宁国府的王夫人、邢夫人觊觎。但从荣国府的人来说,我觉得每个人都被压得死死的,无法传奇。每个人形形色色的如出水马桶,能够博眼球的也就无私或者手段阴险,而两者的动态平衡从来都是刀光剑影,没有人能改变现状。从大明郑和的航海时代,中国生产的财富以及白银,以一个朝贡贸易的形式对外输出,然而这一切三世而终。中国只有走出去才能避免内卷,近代史就是缺失在走出去。内部的人不断内卷,从而消磨光了国库,清朝的海禁从罗马教廷礼仪之争开始,只有一口通商。近代史的边界就是大清的疆域。
荣国府在对底层老百姓有公司对下属的威信但没有到士绅对乡民的威信,最大的原因是他们的利益没有挂钩。荣国府与手下及外部的百姓的收入是相反的。可以说荣国府代表队形象就是大清代言人,可是他们用惯了奴婢文化,使惯了尊卑思想,让下层人民群起反抗。
大清的读书人被文字狱给害了,本可以从三纲五常的戒律中退出来的,可是却一步一步的陷入进去。明代的科学之繁盛,常微分方程的解法比牛顿莱布尼茨的解法早了百余年就可怀疑是否是明代徐光启把中国的科学通过马可波罗带回到欧洲的;明晚期的朱明理学,船山学派在清朝都没了传承之人,取而代之的是桐城派这种为自己谋利益的地方学派。这些被清帝毁于一旦。可以说在文化上,清帝只是一个合格的另一个北魏孝文帝,而非使张骞出史开拓贸易的明君。
半封建半殖民地的中国大地,受到最多恩惠的是留美留日的一群人。这是中国所能冲出黎明的一群人。 同时期的还有下南洋的华人,香港、澳门受到见识的人。他们拓展了中国人的智识边界。何奈中国人赔给日本的钱早就让他们获得了这份智识。
5 如果“超我”能实现
如何自救?1840年开始的中国史的疆域,从对口岸的掌握,到对沿海的全部缺失,白银外流,国库空虚,走上了渐衰的国运,内部官员相互竞争剩余的价值。直至义和团的“白茫茫一片真干净”。由于乾隆,嘉庆皇帝的盲目以天朝自居,对外开放贸易限制逐渐变大,导致与世界隔绝,错失发展的良机。如果乾隆皇帝答应对外贸易,开放口岸,清朝会有多少好处,每年可以给清朝带来多少税收与国库收入。如果没有闭关锁国,在正常的情况下可以一分为二的看:一就是成功的进入帝国主义,就像日本一样,发展自身的军事实力,不惧怕列强的侵扰;二就是外因过于强大导致清王朝内部崩溃。可问题是,持这种观点的在儒家文化圈在少数,以致整个国家在面对日本的甲午战争的时候只有李鸿章这个部门能迎击。
而我认为荣国府的颓势是无法通过开放来解决的,就算已经实现了,贾母死了,王熙凤也只能与其他人内耗。这是一个无解的超我盘,大概只有与民同被割韭菜吧,毕竟更强大的权贵能在很多时候高人一等。
6 参考文献
《荣国府的经济账》
《尼加拉:十九世纪巴厘剧场国家》
《红楼梦与中国文化论稿》(胡文彬)
Wikipedia. Chinese Modern History. Wikipedia.org 2020

一个概率论Bound问题

昨晚和以前实习的同学讨论一个上界的问题,如果在未来博士的过程中也能有这样的氛围就好了。

主要就是一道概率论题

已知\(\begin{array}{l}A \sim B i n o m(n, p) \ B \sim B i n o m(\frac{A(A-1)} 2, q)\end{array}\),求H(B),即B的entropy。

这里的难点是如何求二项随机分布的二项分布。直观上感觉后者的熵值是前者的 \(log(log())\) 这种。可对A的展开太过繁琐。敲在mathmetica当中可以是 \(P(B=i) = Sum[P(B=i|A=j)*P(A=j),{j,0,n}]\),暂时我只想到这种解法。

这个问题我找了找网络前两节课上的信息论推荐的书,上面有类似对于二项式分布的相关性质,可是唯一提到的也就是在 \(p\) 上做文章。fix n,H(A)的 max 在 p 取 \(\frac12\) 时取到。然而没啥卵用。

概率论与图论背后的算法

算这个事为了做一个算法去recover这个
ER random graph,given每次只能query graph的一小部分里面有没有edge的存在。

这个 random graph 很有名,很多概率图都是基于此。也是 TCS 求 lower bound 的一种方式,很多人梦寐以求的方向。

SR-IOV 配置

Nc24rs version1 的 ConnectX-3 ib网卡是走的SR-IOV。虽然virtual没有很多可以hack的地方。但我也借机多了解了点PCIe部分的虚拟化

首先看 lspci|grep SR 和 ls /dev/mst,看看有无SR-IOV。

VSCC20 总结

我们输了,但也看到了差距

如果Harry Chen的后继者没能继续记录ISC ASC SC等比赛的比赛实况,这或许是一个好地方去报点"后Harry时代"比赛的流水账。、

TL;DR

Azure Cyclecloud 能很好的scale 你想干的任何计算,但我们在超过3000W的机器上没有很多经验,也许我在实习的时候有,但也只是对开着的集群运维,我并不那么善于精确的计算cost,在我们队里也似乎没有其他对弹性部署的机器有很好的理解。在写final arch的时候,我们带着以前的思路,由于预算限制导致的想着在任何时候用同样的价格。但云上比赛最好是用最好的机器跑最需要的应用。比如CESM需要HB120rs,那就新开一个机器。比赛之前我们只是把所有编译好的程序放到了一直开着的自带备份xfs的NFS上,pbs、grafana稍稍能用,后来开的机器懒就不配了,也没写脚本,吐槽下cyclecloud这个垃圾前端,还有HPC选项只有ubuntu18.04 和 rhel7。之后还配了个lustre template尝试跑IO500,可是性能不如单盘就放弃了。

如果说SC比赛是一个智商检测器,可以说是在中美贸易战的背景下,测试中国最高学府所能到达的最高点。也确实,三个应用其中两个:CESM、Gromacs都是需要学校背景支持的,清北作为一所能在短时间内集结所有题目的相关老师,并给出建设性建议,不愧为中国最高学府。IO500,RUNJI 宝宝在比赛前4个月左右开始写了一个为之量身定做的一个线性叠加IO性能的库MadFS。我们本来的研判是这只是一个burst cache 能减少memory最后flush cache的时间。但实际上RDMA可以做更好的scalability。据我猜测,他们用了8node L80s

几个比赛以后的反省:PBS scheduler 可以说一点卵用都没有。Azure上之前选用的机器是带SRIOV的,大概也只有之前玩过Exsi的人会吧,驱动安装走了点坑。最后安装的顺序只能是先编译网卡驱动,然后显卡驱动。显卡驱动会破坏ib的安装过程。这块之前写过脚本cloud-init就好了。作为队长,主控权由于我的状态原因,全权由殷老师管理。让我们丧失了一定的灵动性。

这次学校给我们提供了H1-306,可以说是图信的大本营,可以网络直出上海,而且没有限速。可以说很爽了,但比赛第二天下午开始还是各种不稳定,双十一剁手,跨洋剁手也不少。Azure的服务器在德州奥斯丁,而SC使用的zoom服务器在美国,我们的联络人是一个中东裔llbl实验室的computation physicist Axel Huebl,和HPC方向基本一致。

刚开始我们就跑了HPL和60s的HPCG以及IO500,用的英伟达[email protected][email protected]版本的binary,这里有个坑是HPL的binary一旦多于2node8卡就会segfault,而HPCG是不会的,这个坑知道多天以后我们才发现,由于我们从未在多于8卡的机器上跑过benchmark,这个坑算是踩中了。开始的结果不是很理想前者20左右后者800G,IO500随便组个raid0 就到了20,由于选择是8xP100,主办方又有后续不能改机型的规则。其他队都很鸡贼的不说具体时间选择的具体机型,我们老老实实列了我们仅需的机器,并没有为之考虑很多,同时也为预算考虑了很久,毕竟到比赛开始前我还一直以为比赛金额是2500USD。这时候看其他队HPL HPCG都爆70了,我们才知道之前设计时的信息不对称。于是考虑最后再尝试32台P100充分,这理论算力160TFLOPS和4TFLOPS,到这个时间点感觉稳了。指导老师殷老师叫我们稳一手,最后才交成绩。而HPCG需要跑3600s,所以这时候的成绩不合法。

第一天早上10点有个奇怪的考试,CA2.在那之前我也仅仅按照机器配好5台机器2xp100 2x hb60rs 1x d96as,跑完benchmark,刚看了看cesm的测试案例。由于我队友都不怎么会运维。到我们1点回来的时候居然所有机器都是空载的!空载的!啊这,不知道他们怎么想的,就是怕我回来之前他们配不完,应该关掉的。多烧了大约两三百🔪吧。不过这时候,本以为第二天才发的神秘应用minivive的所有脚本柳煜辰弄的都可以跑了,要花的时间也可控,不过可惜的是它只能开2的倍数的线程,而我们的机器是60核的,所以很长一段时间我们都是半载(不能改机器)。吴天元和徐开元负责的gromacs也大致能在GPU上跑了。可这个gromacs的testcase弄的挺恶心的,我们训练的时候发现及时用很大,几十兆大小的蛋白,都不需要很久。所以我们预计给gromacs的时间是不多的,可事实是gpu到第三天还在跑gromacs,是testcase 同一个蛋白要跑几百次,最后出一个趋势图。而且他还要求CPU也要有一半,gromacs是不支持多node的,所以一个算例往往要占一个node好几个小时。

回来以后,我的状态其实不是很好,由于之前一天刚check完通宵了2天写网络project,同时前一天还在负责场地啥的。CA考试就基本糊过去了。cesm是早有一份配置好编译器的环境,脚本提交了task2,和task3。3很快的能跑起来,同时也得到了结果,第一天晚上我也写了一个python轮询调度器,task3跑完跑2,2跑完跑1,1跑完跑4。早上起来的时候2和3都跑完了。可我队友起来的时候告诉我,他手动把一年的算例改成一个月了,跑的不作数,同时他用task脚本,把我跑出来一个月的结果给overwrite掉了,我人傻了。不过一个月还好。我看着有四个node还在跑1和5。后来发现1和5是个zombie程序。搞这些有的没的花了将近大半天时间,到下午4点左右我们才上正轨,跑完了3。这是我们发现之前能编译和跑的task1和5莫名出现了fortrl segfault 退出代码174。Harry的博客提到过这个报错,我们在尝试了ulimit、/etc/security/limit.conf、关selinux、换机器之后,还是没能解决这个问题。我欲哭无泪,第二天晚上就把该关的机器关了,让我队友重新编译了一份,剩下跑其他应用。这是柳煜辰已经整完了一份能自动配置新机器user的脚本。

第三天早上起来以后,队友还是用的intel编译器,不同版本编译的,我开始跑起来总是那个segfault。我尝试在google找遍了所有方法。调到4点钟左右,也就是还剩14小时,我们也没能找到办法,也就放弃了剩下的,这时北大已经交满了所有算例。可能唯一的方法就是换gnu编译器重新编译吧。这时,组委会发了条通知,多加500USD预算,THU杰哥 在下面评论了一句:“Thanks, it's very helpful.” az。

最后一晚,天元回去睡了,他们跑了一部分的task3的gromacs,可是最终算例太大,跑不完了,貌似钱也不太够,也相继放弃了。我是晚上才起来,起来时唯一还对cesm有点念想,最后还是放弃了。还有6小时的时候,我们4位开始了紧张刺激的冲benchmark行为。

NFS在装OMED驱动的时候挂过一次,stale handle detected。我们重启了一遍pbs集群,nfs集群。还好数据都在,我们相继在那个时候用azcopy上传了所有已有结果,发现了60sHPCG结果并不合法。殷老师脸色铁青。32个机器,用pipeline装机器的方法我们花了2个多小时才搞完。然后又花了1个小时弄openmpi的各种问题。最后没能在1小时之内再跑一次HPCG。预算也要抄了,我们只得关掉开的32台P100,回去睡觉了。本次比赛我们和清华的差距就是我们benchmark 没跑完。以及CESM没跑完。