从文城第一名聊聊研究方法
牧爷 (2023-09-26 17:08:21) 评论 (32)All models are wrong; some useful.
“平等性”博友搬出George Box来自救，要我看，您就是搬出Albert Einstein也没辙。
Ronald Fisher在他的获奖感言里说，你们都误会我了，我是科学家，你们给我一个最佳统计学家的奖，是羞辱我呢，还是羞辱我？
虽然我对《正常，还是不正常》一文的结论深信不疑，但这篇文章的论证方法并不科学，其中的道理，是不需要学习任何正规的概率论或统计学就可以明了的。你在沙滩上随手抓一把沙子，没有抓到臭虫，就断言沙滩里没有臭虫，这种当今写SCI的做法，岂能当真？
因为文城第一名的争议，我对文学城小编的眼力见早就彻底失望，不作任何指望了。但我对号称海外简中第一文学之城，博友中诸多号称教授、博导者的科学鉴赏力也非常失望。这从我前一篇文章《如何估计BJG博文的真正流量》不及一千的点击量，就可以看出。
科学研究方法大体上分为两类，一类是机理分析，一类是经验模型。前者强调演绎推理，后者着重归纳逻辑。前者发端于欧几里德几何，后者登峰于贝叶斯理论。前者主要应用于科学发现，管理决策却主要依赖于后者。当然，这并不意味着两类方法只能二者取其一，实际 上，现代科学研究常常是二者融合，从经验中找到蛛丝马迹，形成假设，通过逻辑推理，建立观察量，用以检验假设。这就是Fisher坚持认为自己是科学家而不是统计学家的原因。
《估计》文是建立在严格的科学方法基础上的。文章的零假设（Null Hypothesis，NH）是：BJG文章不存在虚假点击。
推理：在NH成立的前提下，BJG的文章点击量分布（distribution），应该与广大博友的文章点击量分布相当。在一般话题上处于某个水平，在争议话题时，点击量会自然上升。
观察量：BJG的文章点击量分布，以及其他诸博友的文章点击量分布。
结果与讨论：纵观BJG所有显现文章，其篇点击量分布正好与广大博友的文章点击量分布反相，即在一般话题上点击量处于高位（上万），而在争议话题上文章点击量处于低位（少一个数量级）。而广大博友的文章点击量分布通常在一般话题上点击量处于低位（十、百、近千），而在争议话题上文章点击可见明显增长（大几千）。这种反相模式，目前只有一种理论可以解释，那就是：BJG的一般话题文章都是带有任务的，写完了，就要用点击量交差。而BJG的争议话题是在任务之外的文章，无法将之注册到机器点击的范围之内，因而此类文章的点击，“泯然众人矣”。对带任务感兴趣的读者，请参考《再说一点大外宣的事情》第三段。
这种分析方法的优点在于，一方面考虑了BJG的全体文章样本，而另一方面对于广大博友文章的点击量分布，作者采用了多年来累积的经验，伴之以贝叶斯更新，结果极其robust. 这个方法采用了统计力学的各态历经（ergodicity）概念，特色在“纵观”二字，因之避免了传统抽样方法以偏概全的缺陷。
结论：NH不成立，p = 0.
Disclaimer: 此文的主要目的是解释一种现象，而并不是针对BJG个人（如果是一个人的话。重音在“一个”，不在“人”）。此文未接受任何形式的资助。
致谢：感谢夫人方便面晚餐侍候。
建议平等性教授将此文推荐到Science发表，并授予Ig Nobel prize。一笑。
---------
PS: 红色字体为修改稿，请“数字旋律”博友斧正！
Article history:
2023-09-26: submission
2023-09-27: revision
评论 (32)
把隔壁的留言搬过来：
之前友梨江莉网友说的第二点，我表示同情和理解相关的讨论。这里仅就第一点直接相关的点击算法而言（当然对于第二点应该也是间接相关的），根据我远距离的分析和猜想，因为《文学城》要兼顾优化平衡各种考量，“处理”起来会比较棘手，从平台的角度来看，可能也不值得，因为如果要真正有效地来“处理”，资源消耗大。此起彼伏，没完没了，毕竟连Twitter这种资源的平台都没啥好办法。而且，也会影响平台营运的其他方面。所以，《文学城》不作“处理”是有其技术和经济原因的。之前我没少对文学小编冷嘲热讽，所以这里帮《文学城》说一句：你们这些当城民的，不当家不知柴米贵：）
有博主说，“难的不是点击器，他们也知道咋回事，但你弄个试试，分分钟把你掐死，不要问我咋知道的”，言下之意是文学小编特别开后门给特定博主的点击器，这当然是可能的，不过更可能的是，“你弄”的那个点击器斗不过《文学城》的算法，而（纯理论讨论）“别家”的点击机制有可能是真的水军、或更高级的点击算法，对付Twitter的那种。看文学小编无为而治那个懒劲，不太像是会搞开特别后门给特定ID那种低技术小动作的。文学小编和众博主勿怪，我随便猜的：）
回复 'x潇潇' 的评论 : 你说的有道理。
俗话说，水太清则无鱼，在《文学城》这种非实名聊天平台，要想防点击率异常，仅靠算法是很难的，因为要兼顾流量、留住作者和评论者。连Twitter对各种异常也很头疼。再者说，你要《文学城》小编拉下脸来对特定博主进行人工干预，这也太为难文学小编了：）
从另一方面说，点击率特别异常的博主或博文确实好识别，善意地去猜想，没准人家是故意卖个破绽让你识别的呢！而那些不特别过分的呢，其实对所有人来说都更麻烦：）
前面说了，靠算法是很难优化平衡各种考量的。即使更科学更先进的AI算法出现，甚至即使《科学城》出现，点击率异常也是防不胜防的。同时也应该问一问，为什么这么多年了，一直没有《科学城》出现？海外中文平台生存十分不易，1比0好，与其期待N年后也未必有的《科学城》，大家还是多珍惜现有的《文学城》吧：）
x潇潇 2023-09-29 02:46:51 回复 悄悄话 回复 '数字旋律' 的评论 : 科学城也不可能好到哪里去，疯狂的点击率就是科学弄假的。
回复 '数字旋律' 的评论 : 科学城也不可能好到哪里去，疯狂的点击率就是科学弄假的。
回复 '五湖以北' 的评论 : 深有同感，都懒得写博文了。像乌克兰被侵占一样，这块土地快完了，我们没有乌克兰人民伟大
抛开《Science》不谈，我感觉批评《文学城》的排名算法，实是有点无厘头，毕竟，《文学城》不是《科学城》啊！我猜想，可能大家在《文学城》混得久了，都变得像大陆出身的文科生一样，有点无厘头：）
告诉大家一个好消息，随着AI的突飞猛进，局面很快会有大的改观，由AI科学管理的《科学城》很快就会出现，彻底摆脱“文学小编”，曙光就在前头，众博主有盼头啦：）
我就是进来说一下。 1. 我的博文从来没有删， 每篇都在。 最早的追溯到2015年。 2. 在博主这里发毒誓， 是第一次， 没有更早的了。 我仍然坚持这个誓言。 人在做， 天在看。
回复 'LianChen' 的评论 : 说您自己吧。 ：） 谢谢离开。 请不要老盯着我， 写好自己的博。
Reply 无尘2023: 批评政府会影响民族认同感，这是你的opinion, 不是fact哦。现政府也批评过去政府的严重错误，如反右大跃进文革，按你的逻辑，现政府也是做负面影响民族认同感的事，不应该检讨文革错误？
Reply BJG: 建议你运用你为之自豪的双向分析，分析一下下面的状况：1）曾经赞扬你在你博文留言的网友离开你，2）曾经赞扬你的网友现在回来批评你。希望你的critical thinking和双向分析不是选择性的。不要一句话“他们被洗脑偏激”，有点facts有点深度：）
Reply BJG: 建议你运用你为之自豪的双向分析，分析一下下面的状况：1）曾经赞扬你在你博文留言的网友离开你，2）曾经赞扬你的网友现在回来批评你。希望你的critical thinking和双向分析不是选择性的。不要一句话“他们被洗脑偏激”，有点facts有点深度：）
抱歉抱歉，编辑部忽然失联了，审稿费都还没给呢，已报警！
回复 '牧爷' 的评论 : 牧爷 2023-09-27 17:15:07 回复 悄悄话 回复 '数字旋律' 的评论 : Revision was submitted!
BJG下面的两个留言都有错误（我就不指责TA造假了）。“发毒誓就是在这个博主的贴里， 是在快两年前。” 也许在我的场子里发过誓，但绝不是第一次，也不是最后一次。两年前更是无稽之谈。老夫所有文章皆在，不像某人，写了删，删了写。
“博主快两年前还列出了一堆马甲， 说是后面有数字的。 结果有个XX98出来喊冤。”是有这么一回事，所有名单就在《且读且评且修正》一文中，“喊冤”的留言也在文中。看TA怎么笑得出来。
说一个题外话，BJG真是PUA高手，把个七月牡丹骗得个团团转。这个事情开始变得很不好玩了。
回复 '数字旋律' 的评论 : Revision was submitted!
回复 '友梨江莉' 的评论 :
谢谢您的评论，完全同意。只是因为我对第二点理解不深，不敢冒然参与。所以我只谈第一点。当然不参与并不表示我没有意见。
------------------------
总有人非要歪曲人们批评BJG的的本相，我就说说我在城里一些博主文章下面留言批评BJG的两个原因。
第一，反对造假；第二，码字留言要守“人”最起码的底线。
老爷子，你能不能写点别的东西，你蹭京妞的热度有好几篇了、也出名了混上第一了，该写点有意义的东西了，整天跟女人堆里抄架有意思吗。
回复 'LianChen' 的评论 :
我们这些海外华人，离开了中国，就是对中国政府最大的批评。
我们身居海外，需要建立自己的民族认同感。您老揪着中国政府批评，有啥用呢？您是想中国变得更好，还是变得更坏呢？
回复 '魅力野花' 的评论 : 文学城早已经一蹶不振了，就是因为不该上的老霸着城头，争论说明有人还有点血性，而我自已早看穿了
回复 '魅力野花' 的评论 : 文学城早已经一蹶不振了，就是因为不该上的老霸着城头，争论说明有人还有点血性，而我自已早看穿了
我们网友在文学城聚会还是需要缘分的。
希望大家珍惜缘分,讨个热闹,千万不要计较太多。
10多年前,贝壳村吵吵闹闹几次,然后一蹶不振到今天。教训极其深刻。
“我不会骂人， 就只有发毒誓。”
--------------------
我的天哪，您要说不会骂人，这城里可有一个敢说自己会骂人的么？
谦虚确实是个美德，可谦虚到撒弥天大谎，就有些过了。
别忘记互联网是有记忆的，就算你本领大到让这城是为你而开，想怎样就怎样。
也还有天网恢恢、疏而不漏，说不定就在哪里留下您吐过的无数“莲花”呢。人在作，天在看。
总有人非要歪曲人们批评BJG的的本相，我就说说我在城里一些博主文章下面留言批评BJG的两个原因。
第一，反对造假；第二，码字留言要守“人”最起码的底线。
关于第二，刚才的留言已经说了，这里只说关于造假。
我一直觉得一个博主的所有文章永居榜首这事不可思议，特别是有许多明显更高水平的文章甚至连首页上都看不到。
如此不可能的事情却天天发生并持续经年，我觉得可以断定这是在造假，虽然我不知道是谁在造假。
我厌恶造假，想在干净的环境里阅读。而且，造假会使好文章越来越少。
什么文革、红卫兵、拉帮结派、羡慕嫉妒恨、霸凌、群殴、恃强凌弱、以多打少、墙倒众人推、在乎点击率、逼人表态、逼人站队等等的攻击指责，完全是在歪曲事情的本相。
是明显的在偷换命题、偷换概念、指鹿为马、揣着明白装糊涂。很多连起码的常识和逻辑都没有。
回复 'LianChen' 的评论 : “BJG博文点击量是有争议，但我更看重她缺乏理性思维。尤其是最近show下限了，包括发毒誓和揭网友伤疤（妹妹死了）。这不是一个受过高等教育在美国工作生活几十年的知性女士应有的样子。”
-------------------
我觉得您说的是事实，我可以作证。
有一位“北美原乡人”博主写了篇文章，x潇潇网友在那里留了言。
https://blog.wenxuecity.com/myblog/75697/202307/19748.html
BJG大概是对x潇潇网友的留言不爽，开始攻击她，最后升级到拿她逝去的亲人幸灾乐祸、咒骂，而且威胁、恫吓她。
我本只是看，没有留言，但看到BJG这样做实在忍不住了，觉得这越过了作人的底线，进去留言斥责了TA。
于是，TA又冲我而来，开口就是污言秽语。
继而拿我的网名说事，然后又拿性别开骂，因我的网名有个“莉”字。
不知文章作者“北美原乡人”出于什么想法，出来删帖，特别是删掉了BJG骂x潇潇最恶毒最伤人的部分，也删掉了骂我的那些污言秽语。另外，我记得好像还删掉了我批评BJG的第一帖。
我不开博，不知道WXC的博客有没有可以恢复删帖的功能。
如果有，那只要请北美原乡人博主把那篇文章下的所有留言按照时间序列如实公开，便可以知道我说的是否属实。我什么誓也不想发，有不信者，请去北美原乡人博主那里看所有留言，最好是能麻烦北美原乡人博主把那篇文章下的所有留言都公开。
我特意用了TA而不是“她”。
第一是因网络为虚拟世界，无法根据网名来断定性别；
第二是因TA攻击他人的语言实在太脏太野，满口的污言秽语，使得我觉得男人这样的都少见，若说是女性，怎么可能；
第三人们通常只能根据文章内容来判断作者性别，未必就准确。而且也没有必须知道作者性别的必要（不花前月下谈情说爱的话）。
name calling， 和毛泽东的文革小组点名一样。 博主快两年前还列出了一堆马甲， 说是后面有数字的。 结果有个XX98出来喊冤， 笑起我了。 可见人是不会改变的。 其它的留言， 请到7月的贴
https://blog.wenxuecity.com/myblog/74209/202309/24483.html
我看很多红卫兵又要赶来了。 撤了。 谢谢博主对我旷日持久的关注。 ：）
回复 'LianChen' 的评论 : 您错了。 发毒誓就是在这个博主的贴里， 是在快两年前。 发了毒誓， 有人立马不再攻击“大外宣”了。 我不会骂人， 就只有发毒誓。 谁在造谣，没错， 会收到报应， 天在看着你。 最先骂网友家人的不是我，而是您特喜欢的那位， 她在文中骂了我全家。 偏激的脑袋啊， 就别到处现眼了。
回复 '无尘2023' 的评论 : 谢谢访问。想要了解我的想法，请读我过去的相关文章，都在这里，不多。
回复 '平等性' 的评论 : 谢谢鼓励，我其实没有写清楚，写时总有人打扰。好在已有中肯的审稿意见。
回复 '数字旋律' 的评论 : 谢谢您的审稿意见。有空时再做回复，修改后再提交审查。问题（3）是真问题，目前的写法，后果就是读者只好认为是“跳跃性猜测”。我在观察量与结论之间会加一段文字解释这段跳跃。
备份。所谓“楼下几位”者，BJG、康赛欧、北佛风光、古树羽音、无尘等。
--------------------------------
七月牡丹博友：昨晚读到您的捉贼一文，心有戚戚焉。早晨看到您已将此文删除，我想您是善良之人，特留一言。我们之前的交流，我知道您是文科类，对文字敏感，但非常遗憾你会和楼下其他几位一样，继续认为我和文学城其他一众网友是“结党营私”，打击异己。大家在网上，都是为了满足自己学习、交流的目的。我在“平等性”博友一文中的留言：“文学的目的是涵养，是求真，是慕美。成日在美中涵泳的人，看见假的丑的，怎么能置之不理，作壁上观？” 这是我的真实想法，我想也是其他一众网友的想法。
套用前不久流行的一句话，“问题在点击，根子在政治”。 大家厌恶的根源不是什么谁谁谁长年第一。已故的阎润涛博友，当年他的文章几乎篇篇上城头，没有一人对此有意见。为何？他的文章真的耐读，有营养。BJG的文章上头牌为何遭人恨？质量太差！我敢自信地讲，差到连我写的都不如。这还不是关键。关键是为何质量不好，为何还能长期占据第一名？是长期，不是一次两次。是几乎天天！敏锐的人一眼就看到BJG文的高点击量。为何她的一般性文章在24小时之类可以迅速可万？而争议性文章最终也只是小几千？这不是很可疑吗？您在这篇文章中谈到各种原因，但所有这些原因中，大多在谈钱。唯一的一项谈政治的，您却一笔带过。您可能没有读到我写的《再谈一点大外宣的事情》，读读其中第三段吧。这可是我身边的事情。
文学城设置有“悄悄话”，我几乎不用。因为那是一个最生是非的工具。除了请求加为日常见面的朋友，有什么事情非要在人背后说什么呢？
最后，我个人并不反对大家宣传中国的好。我曾经说过，如果大家都讲道理，讲逻辑，能够说服大家走集体主义、威权主义的道路，我乐于学习。但要是耍阴谋，玩虚假点击，再发誓也没用。当然最后这几句话，是对楼下另外几位讲的。
回复 '无尘2023' 的评论 : 一个来自中国的人批评现政府是很正常啊，国家兴亡，匹夫有责。为什么会没有面子？华人经常把国家政府政党的概念搞混了。
BJG博文点击量是有争议，但我更看重她缺乏理性思维。尤其是最近show下限了，包括发毒誓和揭网友伤疤（妹妹死了）。这不是一个受过高等教育在美国工作生活几十年的知性女士应有的样子。
我就很喜欢丹黎的博客。
可能有人认为我是丹黎一个圈子的。实际上不是我主动加入丹黎的圈子，是被很多人推进这个圈子的。我在很多人微博下的评论，不是被拉黑，就是被删除。所以，也只能认准丹黎的博客来评论了。
有人将我当成大外宣，我真不是，只是说出我个人的看法而已。我没有说中国多么好，但不是像很多人讲的那么差。一个来自中国的人，说中国坏话，我觉得自己没面子。如此而已。
我不是那种痛骂中国反而觉得自己很自豪的人。我痛骂中国的时候，心里很不舒服。
作为一个加拿大人，如果我批评一下加拿大政府，我觉得是很正常的，虽然实际上我从来没有批评过加拿大政府。
但作为一个加拿大人，说中国几句好话，也应该很正常吧？难道非得骂中国才可以？
《Science》听到推荐：） ，委托我来审稿，随便挑几处缺陷：）
（1）博主大文为统计类文章，不是特别适合《Science》，建议送统计学专业期刊发表、并竞争统计学奖项：）
（2）博主说，“应该与广大博友的文章点击量分布相当”，请博主说明是如何得到“广大博友文章点击量分布”的？似乎也正是博主所批评的，平等性大文《正常，还是不正常》中，“随手抓一把沙子”的方法：）
（3）按照博主研究，结论只能说排名第一的博友的点击率是个Outlier，但是达到“是虚假点击”这个结论，严格意义上说（《科学》层级杂志的标准：）），是跳跃性的猜测，拿来做零假设不够严谨。Outlier有可能是虚假点击，但不能绝对说是虚假点击。
（4） 博主说的关于博主前文，“《如何估计BJG博文的真正流量》不及一千的点击量”，不准确，：刚才我因为陆陆续续研读，前前后后点了几下，点击量从之前的9百9十多上升到已经超过一千了：）
（5）综合（3） 和（4），充分证明，理论上，上万点击量可以是真实的点击量，这个可能性是存在的，不见得就一定是虚假的点击量：）
牧爷好文章，一针见血，犀利畅快！俺写文章很有些拖泥带水，要多多向牧爷学习 ：）
牧爷