西安事变给予赵寿山思想上以深刻影响。1937年7月7日卢沟桥事变爆发后，杨虎城回国即被蒋介石逮捕，赵寿山对此极为不满。蒋介石以抗战为名，命令第38军各师分别开赴华北抗日前线，赵寿山率领第17师从陕西三原出发赴前方抗日。在驻防三原期间，赵寿山同任弼时、王稼祥、彭德怀、贺龙、徐向前、左权、杨尚昆、陆定一等经常来往，还同彭德怀等合影留念。彭德怀曾同赵寿山作了3天长谈，详细分析了当时国内外形势，介绍了共产党各项方针政策，赵寿山的思想觉悟得到进一步提高，并提出希望加入中国共产党的要求，他还给红军支援了大量军备物资和武器弹药。
1937年10月，赵寿山奉命率第17师扼守山西娘子关正面阵地，与具有绝对优势的日军展开血拼，他临危不惧，亲自带领官兵与日军血战十多个昼夜，部队遭到重大伤亡，损失惨重。太原失守后，山西境内国民党军队纷纷向晋东南溃逃，赵寿山也被迫率第17师残部转移，到达离石县碛口一带，在八路军河防部队萧劲光旅的帮助下进行整训。在此期间，赵寿山来到延安，受到毛泽东、朱德等党中央领导的热情接待，赵寿山坚定了抗日信心，并表示接受第2战区东路军朱德、彭德怀的指挥。
1938年秋，原杨虎城的第17路军编为第38军和第96军两个军。赵寿山被蒋介石任命为第38军军长，率部进驻平陆县，背靠黄河，面向日军，开展了长期的征战。同年冬，赵寿山接受共产党的主张，在驻地举办训练班，改造旧军官，培养新干部，对所属干部灌输“一致对外、团结抗日”的革命道理，部队的思想观念发生了深刻变化，在此基础上发展了一批共产党员，在中共第38军地下工委的指导下，师、旅、团均建立了共产党的组织。
1939年6月，日军集中两个师团兵力配山野炮兵两个联队，在30多架飞机配合下，分9路向赵寿山镇守的中条山发动进攻，企图压迫第4集团军于黄河岸边截为数段而歼之。在守卫中条山的战斗中，赵寿山率38军采取灵活机动战术，绕敌背后，迂回侧冀，依托中条山东段根据地，与敌周旋，取得了重大战果。赵寿山率部顽强固守两年多，先后10余次粉碎日军的大“扫荡”，保住了原有阵地。进攻中条山的日军部队陆续补充新兵达19次，中条山阵地仍牢牢控制在赵寿山的手里，始终未失。国民党为防止38军“赤化”，派来大批政工人员，监视共产党的活动和赵寿山的行动，最终，蒋介石发现38军有受到共产党“赤化”的迹象，对赵寿山极为恼怒，遂下令将38军调离中条山，开拔至黄河以南的巩县、汜水、荥阳一带集结。赵寿山率部撤走不到半年，中条山很快即被日军占领，国民党集中在中条山的7个军被日军打垮，高级将领数人阵亡或被俘，晋南地区全部沦入日军之手，国民党第一战区司令长官卫立煌不无感慨地说：“38军是中条山的铁柱子。”当时在秦、晋两地流传着这样一首民谣：“赵寿山、李兴中，率领陕西冷娃兵，中条山上打日寇，吓得鬼子一溜风……”
中条山战役，不仅使中国腹地的千万百姓免遭日寇铁蹄蹂躏，更阻止了日军打通西北、西南大通道，为日后的战略反攻创造了重要机会，赵寿山作为主要指挥将领是功不可没的。
蒋介石消极抗日，积极反共的态度愈加明显，特别是1941年的“皖南事变”之后，赵寿山更加看清了蒋介石推行“攘外必先安内”政策的险恶用心，感到国共合作前途渺茫，决心投向共产党。1941年底，中共中央批准了他的入党请求。
1944年3月，抗日战争进入关键阶段，蒋介石以明升暗降的方式“抽梁换柱”，调赵寿山到甘肃武威第3集团军担任空头司令，而派嫡系亲信张耀明接替38军军长。赵寿山识破了蒋介石“分编遣散”的阴谋，在离开38军之前作了秘密布置，委托孔从洲掌握部队。得知赵寿山调任武威的消息，毛泽东、周恩来专门派了保健医生，从38军选派十余名党员干部随去工作，并负责他的安全。临行之前，周恩来转告赵寿山：“要时刻与38军党内取得联系，一旦形势变化，便于指探。”赵寿山赴甘肃武威上任后，在国民党特务的监视下，仍然坚持和党组织的联系。遵照党中央、毛泽东的决定，第38军所属部队于1945年7月在河南洛宁起义，投奔解放区。以后以这一部分队伍为基础，成立了西北抗日民主联军第38军，由孔从洲任军长。
第38军所属部队起义之后，赵寿山的处境愈加险恶。1945年春，赵寿山向蒋介石提出辞去第3集团军总司令职务出国考察水利的请求，1946年2月获准。赵寿山卸任第3集团军总司令后，前往南京、上海，然后在共产党秘密护送下由上海经北平于1947年3月进入晋冀鲁豫解放区。7月6日，赵寿山发表反蒋通电，表示脱离国民党反动统治，回归人民的怀抱。
