霖最初与冯德麟交往时，就对他充满了崇敬之情。比张作霖大9岁的冯德麟经常到张作霖所在的大车店入住，他见张作霖为人机灵、讨人喜欢，曾给他讲过不少绿林好汉的故事。
1894年中日甲午战争时，张作霖应募投清朝宋庆毅军，清军败后，宋庆部队撤回关里，张作霖也从部队脱离回到家中。
可是重操旧业后他不得不面对贫困窘迫的生活，最后不得不投奔曾经给过他许多幻想的冯德麟。
后来，冯德麟把他安排在手下董大虎的手下。虽然张作霖并没有在董大虎手下太久，但与冯的交情却从此开始。
在甲午战争和庚子之乱之间东北几乎没有正式军队。
一些地方乡绅为了保护老百姓的安宁，联名请示政府，申请招抚绿林豪客，成立辽河南路两岸招抚局。
当时被推举为总练长的就是“年力精壮、性情侠迈”的冯德麟。
日俄战争
1900年爆发义和团运动，沙俄借机入侵中国东北。
冯德麟趁社会动荡不安、土匪蜂起之机，在辽阳界的高家坨子拉起“大团”， 声称“保境安民”。
因其抗击俄军，很得民心，队伍由百余人发展到数百人，声势浩大。控制了辽河两岸地区。
1901年被俄军逮捕流放，后乘敌不备逃归。
1904年日俄战争爆发，冯德麟率部参加日本人招募的“东亚义勇军”，成为日本的别动队，队伍发展到数千人，不断袭击俄国军队。
这三年中，冯麟阁参加的仅针对俄国的大小战役就有32起，特别在辽阳首山战役。战后，日本特奖赏他“宝星勋章”，并向清廷保荐他和他的队伍可以为清廷所用。
1906年，冯德麟被清廷招抚，任奉军后路帮统，后又升任奉天巡防营左路统领。
1912年袁世凯任中华民国临时大总统后，成立陆军，将奉天巡防营改编为二十七师和二十八师，冯德麟被委任为二十八师师长。
1916年，袁世凯撤销帝制后，由他任命的奉天督军段芝贵成为人们惩办帝制祸首之一。
冯德麟提出，自己和二十八师扮黑脸，和段芝贵正面冲突，张作霖扮白脸使暗劲逼他畏罪逃走。
张作霖劝段芝贵离开奉天，暗中给了段200万大洋。可是当火车一开走，张作霖就致电冯德麟，让他派兵拦截。
段芝贵被洗劫一空回京后，在袁世凯面前对冯德麟没有一句好话，同时大赞张作霖
…。。