1939年4月，八路軍第二次攻打邳縣縣城，時任支隊組織科長的謝錫玉奉命去獨立四營協助營長指揮戰斗。進攻打響后，八路軍從南、西、北三個方向同時發動進攻，謝錫玉親自帶隊向最難打的北門進攻，并身先士卒，率先登城，極大地鼓舞了士氣。戰斗很快結束，打死打傷日偽軍200余人，俘虜日敵軍300余人，繳獲許多槍支彈藥。

　　1942年冬，日軍聚集偽軍兩個師的兵力掃蕩淮北，企圖一舉摧毀淮北剛剛構建的抗日民主政權和根據地。時任新四軍四師二十六團政委的謝錫玉和團長羅應懷按照上級指示，留在淮北抗日根據地，利用運動戰牽制日偽軍。

　　謝錫玉帶領二十六團依靠根據地實行堅壁清野，切斷公路，阻擋日偽軍機械化部隊的前進速度，采取游擊戰，不時組成小分隊四處騷擾日偽軍。就在日偽軍防不勝防之際，謝錫玉又集中兵力攻打泗陽縣的青陽鎮，殺傷了日偽軍的有生力量，給予日偽軍一記重拳。接著又按照旅部的指示，配合外線主力，攻打日寇在泗陽縣的金鎖鎮的據點。

　　當二十六團急行軍趕到泗陽縣朱家崗一帶，日偽軍1500多人卻連夜提前趕到，并將二十六團主力包圍在朱家崗。面對著武器精良、物資豐富，人員數倍于我的日寇，謝錫玉和團部負責人冷靜地對地形進行了分析，謝錫玉將兵力部署在曹圩、孫崗、張莊幾個點，形成掎角之勢，既可以聯防，也可以共攻。

　　面對著武器、彈藥、人員都占絕對優勢的日寇，我二十六團全體官兵英勇無畏、同仇敵愾，與日寇血戰了18個小時，擊斃日偽軍數百人，取得了朱家崗戰役的勝利。后來，駐守在青陽鎮、歸仁集、金鎖鎮等地的日寇紛紛撤回徐州。日偽軍對淮北抗日根據地為期33天的大“掃蕩”以敵軍的慘失敗而告終。二十六團名聲大振。

　　1943年2月，還在休整之中的二十六團又接到命令要盡快攻克洋河鎮，摧毀日偽軍在蘇北的重要據點和進攻我軍的重要兵力聚集地，緩解蘇北、淮海根據地的壓力。

　　謝錫玉和嚴光在詳細了解日偽的兵力部署、地形后，以及以前兄弟部隊從南面進攻常常受挫失利，而日偽軍在南面防守甚嚴的情況后，決定在凌晨時分從東北、東南方向發動猛烈攻擊新四軍。攻入鎮中心后，對敵軍的碉堡實施火攻，把碉堡里的敵軍燒死或窒息。經過5個小時的戰斗，新四軍以較小的代價殲滅日偽軍400余人，拔掉了這個據點。陳毅在《新四軍在華中》一文中對二十六團攻無不克戰無不勝的作戰能力，以及嚴守三大紀律八項注意的作風給予了高度贊譽。