由于高语罕在芜湖发动学生响应五四运动引起了巨大的社会反响，安徽督军倪嗣冲和皖南镇守使马联甲逼迫芜湖省立五中将他辞退。

1919年7月，刘希平和五中学生在长江边为高语罕送行。刘希平说：“国事纠纷，来日大难，前途安危，未可预料。今日小别，望诸君努力振作，不忘语罕先生几年之教导。”

暑期过后，高语罕应安徽省立第二农业学校聘请到校任教，再次领导学生发起学潮，年底被迫离校。1920年初，高语罕来到北京考察北京政府的情形，并秘密参加早期的建党活动。回到上海后，同陈**接触频繁，并多次往返上海、芜湖两地，把《共产党宣言》、《社会主义史》等著作以及《各国社会主义思潮》等刊物带给学生们阅读。

1920年冬，五中校长潘光祖病故。刘希平被学生推为校长后，立即聘请高语罕重返五中当学监。高语罕把董亦湘、郑太朴、时绍武、武可权、沈泽民等介绍到五中任教。

1921年1月11日，高语罕给胡适写信：“我现在把我三年来在中学校所教授的国文编辑出来，预备付印，给一般中学生作一个新文字的指导者。因为这是我大胆试验过的，且为现在一般中等学校的青年学生所必不可少的，而一般国文教育翰林、举人式的先生还在那里‘古文词类纂’纂个不停。又必得这种范本出来肃清他们，痛劝他们。等我抄好了，寄给你看看，还要请你指教指教。”

所谓“三年来在中学校所教授的国文”不仅仅是在省立五中和二农，还包括高语罕在芜湖创办的三个夜校（专门教育全市的青年店员）、一个工读学校（教育有志的青年苦学生）和美国教会办的芜湖萃文书院。此外，高语罕还教了三个女学生，都是当地的小学教员。高语罕在这些学校的讲义，1921年1月由上海亚东图书馆出版发行，名为《白话书信》。

《白话书信》采用书信体的形式，第1版收100封书信，第4版收106封书信，分自序、绪论、家庭书信、社交书信、工商书信、论学书信六部分。

高语罕在自序中说“每篇皆含有社会极切要、亟待解决的问题”。书中家庭书信涉及妇女平等和婚姻自由，社交书信论社会的不平和政局的黑暗，工商书信讲劳工痛苦和资本剥削，论学书信旁及马克思、***的《共产党宣言》和社会主义主张，对阶级斗争、剩余价值、唯物史论、无产阶级专政作了通俗浅显的介绍，并充分肯定和赞扬了俄国十月革命和以列宁为首的布尔什维克及其苏维埃政权。

“科学的社会主义，到德国学者马克思才发明。他主张：人类的历史就是‘阶级斗争’的历史；人类历史的变动，是意识的变迁，都是受经济变动、物质变动的影响。因此便组成他的‘唯物史观’的哲学；谈到社会主义，莫不以马克思为祖宗。”

《白话书信》是高语罕五四以来思想观点的集中体现，它与胡适的《尝试集》和陈**的《独秀文存》是当时上海亚东图书馆出版的三种畅销书。由于它宣传了马克思主义和科学社会主义，国民党的审查机关专门批了“严予禁毁，以绝流传”的禁令。鲁迅在《且介亭杂文·后记》附录的国民党禁书目录中也有《白话书信》。这本书出版后虽屡经查禁却再版39次、印刷10万册之多，影响了无数青年志士，有力地推动了马克思主义在中国的传播。