1903年，高语罕17岁时，他父亲的好友李莜园担任凤阳官立经世学堂汉文总教习，写信招他去投考。未进学堂之前，语罕暂住李莜园家里。李莜园天天教他读《资治通鉴》，讲宋明学者的语录，又让他每天写日记给他批改。甚至吃饭的时候，李莜园还给他讲解作文的法子，讲好了才吃饭。

进学堂后，语罕的考试名次总是倒数第一。受这个刺激，语罕每天和衣而卧，在床前放了一张小桌子，一盏油灯，醒了就把选好的文章拿过来读。不到一年，他就把“之乎者也”弄通了。在每次的榜示上，语罕的名字也从坐“红椅子”（倒数第一名）跑到了前三名。

学堂历史教习武竹平的种族革命思想对语罕的影响也非常深。武竹平的历史讲义都是自己编的，参考了许多富于排满的种族革命的历史典籍，如当时的《国粹学报》、明末各种野史以及康梁的文字。他的每一次讲授，语罕都细心地听，没有一次缺课。

除了功课，学堂准许学生读书阅报。当时，康有为和梁启超正在宣传欧美日本的君主立宪救国论。语罕受他们的影响尤其是梁启超的影响至深，觉得梁启超的《新民丛报》、《中国魂》就是自己的圣经。

1904年冬天，凤阳经世学堂易名凤阳府中学堂。高语罕和原来的老师程二夫子一起参加清末最后一次科举考试。第一场考试一共取72名，语罕是第71名，程二夫子落榜。第二场考试，语罕高升到第17名。

第三场终考只考一个题目：“其于木也为坚多节。”牌示上注明：“做一百字者为完卷。”语罕也不知道题目的出处，只就字面敷衍成文，集了一百多字交卷，最后一场也被取了。

此后不久，科举考试废除，语罕仍在学堂读书，并因英语出色而被聘为英语教员。因为学生都是各县来的秀才或老童，年纪大的有30多岁，小的也有20多岁，都比语罕年龄大，所以不肯从他手里讨教，遂闹起风波。

1905年初，语罕被迫离开凤阳，转而投考严复任监督的安庆高等学堂。谁知到了省城安庆，才知道严复因为受排挤，刚刚离开学堂，他不得已去请教以前凤阳知府兼凤阳中学堂总办叶老师。叶老师为人谦和，官僚气少，此时已调任省督练公所提调兼陆军测绘学堂总办，他力荐语罕进了陆军测绘学堂。

1907年夏天，语罕将要毕业的时候，左臀生了一个肿毒，到圣公会（医院）开刀。恰巧李莜园来省城，听说他病在医院，特地跑去掏出一块大洋，解决了他的饭食医药费用。

那时候，每天晚上总有一个神甫到病房来宣讲福音，劝他信教。当时语罕已受了一点科学思想的影响，就老实地告诉他：“我不信教，除非你有一天能说得使我相信上帝。”

宣教的神甫并不灰心，第二天、第三天仍然过来。有天晚上，那位牧师穿着黑长袍子左膀子夹着《圣经》又来了。

没等他开口，语罕劈头就问：“什么叫做《创世纪》？”

“《创世纪》就是记载上帝创造世界的圣灵的经书。”

“据你说世界是上帝造的，那么上帝又是谁造的呢？”

神甫马上对着胸口画了个十字：“异教徒！异教徒！上帝是唯一的神，如何可以这样地亵渎。”

“你若对这个问题没有满意的答复，那我就一定不会做你的信徒！”

语罕当时写了三首诗记述自己的感想：

“病体支离百吟呻，为谁说教去来频。男儿自有灵魂在，上帝何须强作人？”

“满目疮痍百感并，仓皇戎马一书生。他年若得沙场死，不作神仙气也平。”

“漫向人间说窈冥，***事有谁听？苍茫独立风尘里，我有良知是圣经。”

这些诗表现出语罕反抗宗教精神的萌芽。“我有良知是圣经”，这句话也贯穿了语罕的一生。