倭仁这下确实被难住了。4月25日，他不得不据实上奏，称“并无精于天文算学之人，不敢妄保”。但朝廷却显然有些不依不饶，下旨要求他随时随地留心访查，一旦找到本国精于算术之人，立刻保奏，开设算术馆，以收实效。同一天，朝廷还给了倭仁一项新工作：在总理各国事务衙门行走。“行走”是个闲官，但倭仁素来高倡“夷夏之防”，朝廷令他去专门办理夷务的总理衙门“行走”，显然是有意折辱这位士林领袖。
最后，倭仁以病为由，拒绝前去总理衙门上班。这场历时半年之久的高层斗争的正面冲突就此结束。
隐性冲突：士子集体抵制，算学馆名存实亡
倭仁病隐之后，争论远未结束。倭仁一系的支持者甚多，朝廷接二连三地接到攻击开设算术馆的奏折。
有些奏折言辞非常激烈，譬如候补内阁侍读学士钟佩贤就拿当年的天旱为由头，批判这是朝廷故意为难倭仁所致；候选直隶州知州杨廷熙则把当年久旱不雨的原因归结为朝廷开设了算术馆，甚至还扩大到对同文馆的批判，说同文馆这个名字是宋代奸臣蔡京陷害忠良的监狱的狱名，建议将算术馆并同文馆一并裁撤，如此才能够杜绝祸乱之萌生、端正风俗教化、弥合天变、顺应人心。
杨廷熙的奏折受到了朝廷谕旨的痛斥。谕旨并将病隐的倭仁指责为杨廷熙的幕后主使，要求倭仁病好之后立即到总理衙门上班。当倭仁再度上奏请病时，朝廷顺势剥夺了其翰林院掌院学士和管理户部事务的职权。
表面上看，这次同文馆风波，朝廷和奕讠斤站在一起，用行政手段打压了倭仁一系的意见，奕讠斤一派获得了胜利，天文算术馆也得以设立。但这种“胜利”其实是很惨淡的，甚至根本称不上“胜利”，反可用“惨败”来形容之。
个中缘由在于：由于倭仁的半路杀出，造成严重的社会舆论压力，导致天文算术馆几乎招收不到什么科举出身的“正途人”。第一次招生，“正途投考者寥寥”，奕讠斤等人无奈，只好把非科举出身的杂人也编到一起，总共才得到九十八人。考试的时候，又有二十六人缺考。最后勉强录取了三十名，半年后的例考，又淘汰了二十名“毫无功效之学生”，最后仅剩十人，不得不与外文馆学生合并。开设仅半年，天文算术馆即名存实亡。李岳霖《春冰室野乘》里说：那些科甲出身的“词馆曹郎”，均以学算术为耻辱，“竟无一人肯入馆者”。当时知识分子对传统意识形态的坚持，由此可见一斑。
最使人感喟的是，倭仁反对科甲出身的“正途人”跟从“夷人”学习算术的最重要的理由，是担心这些科甲士人——帝国意识形态的中流砥柱——会被狡猾的“夷人”引诱同化，进而损害帝国的立国之本；然而，奕讠斤等人之所以一直坚持让科甲出身的“正途人”来跟从“夷人”学习算术，恰恰也是这个出发点。奕讠斤认为，只有受过严格的理学意识形态教育的“正途人”，才能够“存心正大”，不会“为洋人引诱，误入歧途”。同样的出发点，同样的担忧，却引发了一场剧烈的高层内斗。
