。
张作霖不仅机灵过人，而且实有政治野心，热衷于升官发财。
有一次，张作霖和汤玉麟摆酒论英雄。张作霖酒后吐真言：“当今之世，满洲无主，我等不应安居一方，而应将小股流匪合并一起，形成强大势力，而后称霸。”
汤玉麟听了也说：“我也有这种想法。”
同年10月，当地乡绅张子云等串联十八屯绅商及各界代表作保，由新民府知府增韫手下红人赵经丞牵线。
张作霖率汤玉麟等共三百多人接受收编，增韫将张作霖的人马编为新民府地方巡警前营马队，张作霖任马队管带（相当于营长），下辖中、前、左、右、后五哨。
汤玉麟与张景惠、张作相、王利有、孙福山分任哨官。从此，汤玉麟等人摇身一变成了清廷的军官。
光绪三十三年（1907年），张作霖升任奉天巡防五营统带官（相当于团长）兼中营营长，汤玉麟与张景惠、张作相、邹芬分任营长。
同年5月，徐世昌出任东三省总督。鉴于东北“胡匪”遍地，“马贼”猖撅，徐世昌上任伊始，首先抓剿匪。
徐世昌命张作霖消灭辽西巨匪杜立三。
7月6日，当杜立三率亲随十多名到新民府来见张作霖时，张作霖早已设下埋伏。
伏在门外的汤玉麟从杜立三背后将其抱住，随后又过来几个人将杜立三按倒在地，摘下手枪，捆绑了起来。
当晚即将杜立三枪杀。汤玉麟与张作霖合谋除掉杜立三立了大功，徐世昌立即上奏朝廷为汤、张请奖，朝廷立即赏银两千两，并升张作霖为奉天省巡防营前路统领，汤玉麟升为二营帮带。
不久，徐世昌调张作霖部到辽源（郑家屯）、洮南追剿为沙俄收买的蒙古叛军。
这时张作霖的队伍由五营扩编为七营，除汤玉麟、张景惠、张作相、邹芬等营以外，又把驻在洮南的孙烈臣部划为张的部下，张的队伍增加到三千五百多人。
张作霖受命后，率领所部在漠北的荒原上，和蒙匪陶克陶胡、白音大赉等股匪进行了殊死搏斗。
光绪三十四年（1908年）6月，张作霖指挥所部奇袭内蒙的龙王庙（蒙匪的一个根据地），将白音大赉手下的干将巴塔尔斩首。
当陶克陶胡袭击长春一带，白音大赉乘此在洮南反击时，张作霖联合黑龙江官军进行夹击，迫使蒙匪西窜。
张作霖带领所部穷追陶克陶胡，一直追至大兴安岭的索伦山。