首句“两竿落日溪桥上”，点明时间和地点。时间是“两竿落日”，则既非在红日高照之下，也非在暮色苍茫之中。在读者眼前展开的这幅画中的光线和亮度是柔和宜目的。地点是“溪桥上”，则说明诗人行吟之际，既非漫步岸边，也非泛舟溪面，这为后三句远眺岸上柳影、俯视水上绿荷定了方位。
诗的次句“半缕轻烟柳影中”，写从溪桥上所见的岸柳含烟之景。诗人的观察极其细微，用词也极其精确。这一句中的“半缕轻烟”与上句中的“两竿落日”，不仅在字面上属对工整，而且在理路上有其内在联系。正因日已西斜，望中的岸柳才会含烟；又因落日究竟还有两竿之高，就不可能是朦胧弥漫的一片浓烟，只可能是若有若无的“半缕轻烟”；而且，这“半缕轻烟”不可能浮现在日光照到之处，只可能飘荡在“柳影”笼罩之中。
这前两句诗纯写景物，但从诗人所选中的落日、烟柳之景，令人感到：画面的景色不是那么明快，而是略带暗淡的；诗篇的情调不是那么开朗，而是略带感伤的。这是为引逗出下半首的绿荷之“恨”而安排的合色的环境气氛。
诗的三、四两句“多少绿荷相倚恨，一时回首背西风”，写从溪桥上所见的荷叶受风之状。这两句诗，除以问语“多少”两字领起，使诗句呈现与所写内容相表里的风神摇曳之美外，上句用“相倚”两字托出了青盖亭亭、簇拥在水面上的形态，而下句则在“回首”前用了“一时”两字，传神入妙地摄取了阵风吹来、满溪荷叶随风翻转这一刹那间的动态。在古典诗词中，可以摘举不少写风荷的句子，其中最为人所熟知的是周邦彦《苏幕遮》词“叶上初阳干宿雨，水面清圆，一一风荷举”几句。王国维在《人间词话》中称赞这几句词是“真能得荷之神理者”。而如果只取其一点来比较，应当说，杜牧的这两句诗把风荷的形态写得更为飞动，不仅笔下传神，而且字里含情。
这里，诗人既在写景之时“随物以宛转”（《文心雕龙·物色篇》），刻画入微地曲尽风荷的形态、动态；又在感物之际“与心而徘徊”（同上），别有所会地写出风荷的神态、情态。当然，风荷原本无情，不应有恨。风荷之恨是从诗人的心目中呈现的。诗人把自己的感情贯注到无生命的风荷之中，带着自己感情色彩去看风荷“相倚”、“回首”之状，觉得它们似若有情，心怀恨事，因而把对外界物态的描摹与自我内情的表露，不期而然地融合为一。这里，表面写的是绿荷之恨，实则物中见我，写的是诗人之恨。
南唐中主李璟有首《摊破浣溪沙》词，下半阕换头两句“细雨梦回鸡塞远，小楼吹彻玉笙寒”，历来为人所传诵。王国维在《人间词话》中却认为，这两句不如它的上半阕开头两句“菡萏香销翠叶残，西风愁起绿波间”，并赞赏其“大有众芳芜秽，美人迟暮之感”。而原词接下来还有两句是：“还与韶光共顦顇，不堪看。”这几句词以及王国维的赞语，正可以作杜牧这两句诗的注脚。联系杜牧的遭遇来看，其所表现的就是这样一种芳时不再、美人迟暮之恨。杜牧是一个有政治抱负和主张的人，而不幸生在唐王朝的没落时期，平生志事，百无一酬，这时又受到排挤，出为外官，怀着壮志难酬的隐痛，所以在他的眼底、笔下，连眼前无情的绿荷，也仿佛充满哀愁了。