这个成语来源于《世说新语.言语》，卫洗马初欲渡江，形神惨悴，语左右云：“见此芒芒，不觉百端交集。苟未免有情，亦复谁能遣此！”

卫D，字叔宝，河东安邑（今山西夏县北）人，晋怀帝时任太子洗马（太子的侍从官）。他精读《易经》、《老子》，说话常常是非常深刻的。

西晋时期，统治集团内部矛盾重重。持续十六年之久的“八王之乱”给国家和人民造成了深重的灾难。北方的匈奴贵族刘裕乘机起兵入侵。晋怀帝永嘉三年（公元309年），匈奴军队两次长驱直入，一直打到西晋都城洛阳，但都被西晋军队击退。

面对动荡不安的时局，卫D决心把家迁往南方。他的哥哥卫ZAO在朝廷担任官职，母亲不忍心和卫ZAO分离，卫D劝她要以家庭大计为重，终于说服母亲同意南迁。永嘉四年，卫D告别哥哥，离开洛阳，带着母亲和妻子一起南下。

卫D一向体弱多病，一路上步途跋涉，餐风饮露，经受了千辛万苦。在将要渡长江的时候，他的神情容貌都显得憔悴不堪。他对左右的人说：“见到这白茫茫的江水，心里不由得百感交集。只要是一个有感情的人，又有谁能排遣这万千的思绪和感慨呢！”

由于社会动荡，卫D南迁也没有能够安居乐业。过江不久，妻子不幸亡故。他辗转到达建康（今江苏南京），于永嘉六年（公元312年）病逝，年仅二十七岁。