肃宗见不能勉强他,也就算了。李泌在乡间隐居的时候穿的是布衣,到了灵武,还是那件旧的布褂子。
有一次,李泌陪唐肃宗一起骑着马巡视军队,兵士们在后面,指指点点说:“那个穿黄袍的是皇上,穿白褂子的是山里来的隐士。”
唐肃宗听到兵士们的议论,觉得这样太显眼了,就给李泌一件紫色的官服,硬要他穿上。李泌没办法,只好穿上。肃宗笑着说:“你既然穿上了官服,还能没有个官衔?”说着,从袖里拿出一份诏书,任命李泌为元帅府行军长史(相当军师)。
李泌还不肯答应,唐肃宗说:“现在国家困难,只好暂时委屈你一下,等平定叛乱之后,还是听你自由。”
那时候,郭子仪也已经到了灵武。朝廷要指挥全国的战事,军务十分繁忙。四面八方送来的文书,从早到晚没有间歇的时刻。唐肃宗命令把收到的文书,一律先送给李泌拆看,有特别紧要的,才送给肃宗。宫门的钥匙,由太子李俶(音ch�)和李泌两人掌管。李泌忙得连饭也顾不上吃,觉也没能好好睡。