潘祖荫字伯寅，江苏吴县人，和两朝帝师翁同龢，是总角之交。他祖父潘世恩，为乾隆五十八年癸丑科状元，潘氏即从他开始，走读书取士的道路，是苏州所谓既“贵”且“富”的大阜潘家。原来苏州潘氏，统出于徽州歙县北岸的大阜村，是徽州有名的大家巨族。大约从清朝初年起，潘氏陆续有卜居苏州者，从事各种商业活动。而潘世恩一脉，则由于从事的是盐业专卖，逐渐成为江南一带有名的大盐商。潘世恩中了状元以后，平步青云，历经四朝，迭掌文衡，道光十三年拜体仁阁大学士，不久入军机，晋东阁大学士，充上书房总师傅，加太子太保。道光十八年，再晋为武英殿大学士。是这样的家世清华，钟食鼎鸣，潘祖荫就难免沾染一些少年名士的习气，是宣南一带有名的富贵闲人。
“宣南”指宣武门以南，向为京师人文荟萃之地。
因自幼涉猎百家，精通经史，兼工诗词，文藻勃发，这潘祖荫平日里就于碑版书帖，无所不藏；金石管弦，无所不好。他相与的一个“红相公”，为京城有名的“同光十三绝”之一的朱莲芬，据说曾是咸丰皇帝的男宠。
相公是对男妓的委婉称呼。
光绪初年，清流在慈禧太后的支持下，逐渐登上历史舞台，讥弹时政，崖岸自高，成为一个特殊的政治群体。清代供男性享乐的，有妓有优，妓为女性，优为男性。由于《大清律》明令禁止朝廷官员狎娼嫖妓，士大夫便去亲亵男色，狎优之风由是盛行。同光间天下承平，百业兴盛，戏班、乐馆遍布九城，戏班的班主，一般都有自己的寓所，称作“大下处”。程长庚的“大下处”名为“四箴堂”，所谓“四箴”，是指宋代理学名家程氏兄弟“视、听、言、动”的四字箴言，亦即“非礼勿视、非礼勿听、非礼勿言、非礼勿动”。但名伶傍名士，名士养名伶，乃清末风气，一般的伶人，也不会像程长庚那样自尊自重。潘祖荫相与的朱莲芬，本名朱福寿，是著名昆旦朱福喜的胞弟，苏州人。此人幼学昆旦，兼习皮黄，生得肌肤如雪，体态风流，同光年间名重一时。他不但戏演得好，文采也好，尤工小楷，常为潘祖荫代笔，写一些应酬字。据樊樊山说，潘祖荫的小楷最难求，惟常写与朱莲芬，故彼时士大夫中流传，若想得到潘伯寅的小楷，到朱莲芬那里去好了。是这样的艳冠群芳，色艺双全，伶人中能有几个？所以潘祖荫对他，就爱惜得不得了。其时京里还有一个人，对朱莲芬也十分倾慕，这个人就是御史陆懋宗。陆懋宗字云孙，也是翰林出身，颇通音律，为京城中的名票，因为这个，才得以和朱莲芬亲近。潘祖荫当然不会把他一个穷翰林放在眼里，和朱莲芬依旧是出双入对，俨然夫妻。朱莲芬的寓所，名为“紫阳堂”，位于宣南的樱桃斜街，和位于北半截胡同的潘宅相距不远。当时京里有名的熙春堂、聚宝堂等等，就都是相公的宅子。光绪年间有一个名叫朱克敬的人，曾经这样描述：“京师旦脚曰相公，所居之寓曰某堂，知其堂，知其人，知其人住某堂，始能点其戏。”从中我们可以知道，名士与优伶的交往，多在相公的住处。
据陈庆溎《归里清谈》言，潘氏乃天阉，不近女色。清末天阉者，著名的有三人，一为常熟翁同和，一为吴县潘祖荫，一为番禺梁鼎芬。但潘祖荫似乎并不忌讳，有时自己也往外说。他平日里和妻子，是分房而居的，然而不近女色，又如何能近男色呢？这好像也很难自圆其说。彼时名重一时的红相公，除了朱莲芬外，还有一个朱霞芬，人称“霞郎”，是梅兰芳祖父梅巧玲的弟子。曾有人以“秋风海棠”来形容他，称其“骨俊神妍，娟如处子”。他的“老斗”是李慈铭，浙江会稽人，为文沉博绝丽，为人却尖酸刻薄。但朱霞芬傍上他，也算傍对了人，虽说只是一个穷京官，没有潘祖荫出手阔绰，但名满天下，是很多王公贵族的座上客。优伶的黄金时代，在同治初年到甲午战争爆发前的三十年间，史称“同光中兴”，社会相对稳定，以至西四牌楼砖塔胡同一带，清吟小班星罗密布。王公贝勒、翰詹词臣在退朝之后，往往朝衣朝冠而至，置酒宴客，流连竞夕。这也是清流的黄金时代，以风骨相标榜，啸聚“宣南”，一呼百应。清人笔记记载，同光朝某一科会试之后，潘祖荫和张之洞广发柬帖，召集公车名士，燕于江亭之上，聚集了上百人之多。结果无论宾主，都只顾指点江山，高谈阔论，却忘了还要吃饭，仓促间只能到馆子里去叫，就有人吃坏了肚子。那是怎样一种名士风流啊，这在“后清流”时代，是想都不敢想喽！
王伯恭《蜷庐随笔》：
京师西四牌楼砖塔胡同，向皆小班所聚，似妓非妓，专以歌曲侑酒，概不留髡，故名目“清吟小班”。游客大率王公贝勒。退朝时往往有朝衣朝冠而至者，小饮闲坐而去。南城士大夫往游。则置酒宴客，流连竞夕，天明始散。
陈恒庆《谏书稀斋笔记》：
尚书天阉，与翁常熟同。一门生不知，初谒时，询问老师几位世兄。尚书曰：“汝不知我天阉乎？”
《凌霄一士随笔》：
同光间潘翁齐名，号为京朝清流宗主而竟复同为天阉，斯亦奇矣。
李岳瑞《春冰室野乘》：
同光间某科会试场后，潘文勤、张文襄两公，大集公车名士，燕于江亭，先旬日发柬，经学者、史学者、小学者、金石学者、舆地学者、历算学者、骈散文者、诗词者，各为一单，州分部居，不相杂厕。至期，来者百余人。两公一一纡尊延接，是日天朗气清，游人亦各兴高采烈，飞辨元黄，雕龙炙眥，联吟对弈，余兴未央。俄而日之夕矣，诸人皆有饥色，文勤问文襄今日肴馔，令何家承办。文襄愕然曰：“忘之矣。今当奈何？”不得已，饬从者赴近市酒楼，唤十余席至，皆急就章也。沽酒市脯，重以馁败，饭尤粗粝，众已惫莫能兴，则勉强下咽，狼狈而归。有患腹疾者，都人至今以为笑谈。
