1919年的“五四”运动，曾任北京大学校长的蒋梦麟在其回忆录《西潮》对其如此记述：“北京政府的要员中有三位敢犯众怒的亲日分子。他们的政治立场是尽人皆知的。这三位亲日分子——交通总长曹汝霖，驻日公使陆宗舆，和另一位要员章宗祥——结果就成为学生愤恨的对象，群众蜂拥到曹宅，因为传说那里正在举行秘密会议。学生破门而入，满屋子搜索这三位‘卖国贼’。曹汝霖和陆宗舆从后门溜走了；章宗祥则被群众抓到打伤。学生们以为已经把他打死了，于是一哄而散，离去前把所有的东西砸得稀烂，并且在屋子里放了一把火。这时武装警察和宪兵已经赶到，把屋子围得水泄不通。他们逮捕了近六十位带往司令部，其余的一千多名学生跟在后面不肯散，各人自承应对这次事件负责，要求入狱。结果全体被关到北京大学第三院（法学院），外面由宪警严密驻守。”这还算一种比较价值中立的叙述，大量与此相类似的叙述，尤其是后来历史教科书里对“五四”的宏大叙述，逐渐地建构了一个关于“五四”爱国运动的完整谱系，而在“五四”运动中发生的具体细节，尤其是当事人中间被暴力一方的记忆，似乎隐没不彰。
晚年曹汝霖回忆，得知北京大学生可能冲击曹宅后的北京警察厅派去保护的三四十名警察，因为上头交代“文明对待学生”，故连警棍都没有带，警察们只好就近寻找木板石块之类去封堵大门。在东交民巷使馆区遇阻的学生，迅即转向来到曹宅。时隔数十年，曹汝霖似仍清晰地记得“五四”运动中的这一幕：
我于仓猝间，避入一小房（箱子间），仲和（指章宗祥，引者注）由仆引到地下锅炉房（此房小而黑）。这箱子间，一面通我妇卧室，一面通两女卧室，都有门可通。我在里面，听了砰然一大声，知道大门已撞倒了，学生蜂拥而入，只听得找曹某打他，他到哪里去了。后又听得砰砰蹦蹦玻璃碎声，知道门窗玻璃都打碎了。继又听得瓷器掷地声，知道客厅书房陈饰的花瓶等物件都摔地而破了。
后又打到两女