了生计，张作霖先后卖过烧饼，学过木匠，当过货郎，还当过兽医。
1890年（光绪十六年），流落到营口县大高坎镇。
1894年（光绪二十年），甲午中日战争爆发，张作霖投清军宋庆所部当兵，后升任骑兵哨长。
1895年（光绪二十一年），清军移防，张作霖离队回乡当兽医；同年，与赵家庙村地主赵占元次女赵春桂结婚。
1896年（光绪二十二年），经冯麟阁（后改名冯德麟）介绍，张作霖在广宁县（北镇）加入绿林董大虎匪部。
1900年（光绪二十六年），沙俄侵占中国东北，盛京将军增祺逃走，地方政权陷于瘫痪。
张作霖于赵家庙组织保险队（大团），负责附近几个村子的治安，后占据北镇县中安堡。
张作霖负责的地区称为“保险区”，他在保险区内很守规矩，不仅遵章守纪，而且维护治安。
因此，这个地区胡匪的骚扰得到遏制。
张作霖也得到村人的称赞，他由此声名鹊起。
此后，他管辖的范围逐渐扩大，达到二十多个村子。
1901年（光绪二十七年），土匪金寿山在腊月三十夜班勾结俄兵，偷袭中安堡，张作霖先逃到姜家屯，后逃往八角台与张景惠合股，被推为团练长。
在逃亡途中，妻子赵春桂在马车上生下了张学良。
仕途之路
1902年（光绪二十八年），张作霖于新民府受招抚，先任巡警前路游击马队帮带（副营长），后升管带（营长）。
1904年（光绪三十年），日俄战争爆发，张作霖秉持着“谁给我好处，我就帮助谁”的原则，先为俄军效力后为日军效力。
1906年（光绪三十二年），因其带兵名声甚佳，被新任盛京将军赵尔巽任命为五营统带（团长）。
1907年（光绪三十三年），清政府在东三省改建省制，任命徐世昌为东三省总督。张作霖因计擒匪首杜立三有功，被升为奉天巡防营前路统领（旅长），管辖马步5营。
1908年（光绪三十四年），奉徐世昌命驻防郑家屯、洮南，将陶克陶胡驱逐出境。徐世昌将其兵力扩充为7个营，达到3500人。
1909年（宣统元年），奉锡良总督之命追缴牙什、白音大赉等。
1911年（宣统三年），武昌起义爆发，张作霖带兵入奉天省城镇压革命党人。随后，东三省总督赵尔巽命他
…。。