1937年卢沟桥事变后，中国展开了伟大的全国抗日民族解放战争。8月，我工农红军改编为八路军。张南生任八路军第129师第385旅第769团政训处副主任。10月恢复政治委员编制后，他又到129师第386旅第771团任政治委员。之后，张南生与团长徐深吉率领第771团先后在长生口、杀石门、马山口、七亘村等处，以袭击、伏击和阻击等手段，给从石家庄方向沿正太路进犯的日军主力以严重打击，狠煞了日军的嚣张气焰，同时解救了驻守在娘子关旧关而被日军围困的国民党军1000多人。不久，张南生和副团长韩东山奉命率第771团第1营进到邢台地区，开展游击战。
　　12月20日，日军远山联队100多人、伪军300多人，靠汉奸李聘三引路，偷袭彭城，还妄图一举摧毁磁县抗日政府。张南生指挥部队在路边设伏，痛歼了由彭城急回打援的日军100多人，并缴枪100余支。

1938年2月，张南生调任晋冀豫军区先遣支队政治委员兼冀西地委委员、军事部长。此后，他把主要精力用在扩大抗日武装，配合八路军主力作战上。仅8个月时间，他所在的部队由组建时的600多人发展到4个建制团4000余人，枪由300余支增至2000余支，成为抗日斗争的一支生力军。

　　同年10月1日，张南生又被调到晋冀豫军区政治部任组织部部长。他到任后，立即着手组建党的基层组织，逐级成立党支部或党小组，使上至司令员、政治委员，下到每个党员都参加党小组生活，定期汇报思想和工作。他还制定了干部管理规定，对排以上干部逐个鉴定讲评。同时，对问题较多的卫生部进行整顿，对连队指导员进行培训、调整，还对职工认真进行了锄奸保密和破除迷信的政治教育，使党员、干部队伍的建设进一步得到加强。

　　1939年3月18日，张南生被调到八路军第129师晋冀豫军区晋冀豫游击司令部独立支队兼第2军分区任政治委员。这个3000余人，主要活动在晋中一带山区的队伍，在反“扫荡”中，先后对日伪军作战30余次，歼灭日军2000余人，粉碎了日伪聚歼晋冀豫根据地八路军主力的企图。

　　1942年1月，张南生任第129师政治部组织部部长。在任部长期间，他结合工作实践，先后精心修改形成了《连队政治指导员工作暂行条例》、《支部组织与工作暂行条例》、《救亡室工作暂行条例》、《朱德青年队与各级青年组织暂行条例》等4个基本文件。他的工作得到刘伯承、邓小平的高度赞扬。这几个文件在连队推广执行后，使129师连队政治工作有了依据，大大加强了党对军队的绝对领导，使广大干部战士在残酷战争岁月能保持旺盛的革命斗志。这期间，为了粉碎日伪军的“蚕食”政策，扩大解放区，张南生根据刘伯承、邓小平首长的指示，从抗大六分校调出储备干部，组成精干的武装工作队，深入到日伪军兵力薄弱的地区进行政治攻势。这对扭转当时根据地的危险局面起到了很大作用。

　　由于张南生工作出色，1943年10月，他被调任八路军野战总部政治部组织部副部长；1945年8月，调任晋冀鲁豫中央分局组织部副部长兼晋冀鲁豫军区组织部部长。