字伯寅，清代苏州府吴县人。咸丰二年（1852）壬子科探花，授翰林院编修，历任刑部、工部尚书，官至军机大臣。
潘祖荫自幼涉猎百家，精通经史，工书法，好收藏，尤嗜书画、版本和金石。他还是位金石、版本学家，曾辑有《攀古楼金石款识》二卷，并著成《滂喜斋读书记》二卷，《滂喜斋宋元本书目》一卷，曾刊有《滂喜斋丛书》、《功顺堂丛书》。