叶灵凤诚邀高伯雨同赴佛堂门之游，除了私交甚好，更因为同气相投。尤其是对于文史掌故一途，可说惺惺相惜。在《读〈听雨楼丛谈〉》一文中，叶灵凤说：「喜欢读杂书的人，对于文史掌故的著作，总是特别感到兴趣的。我正是其中之一。」「在朋友之中，精于这一门学问的，自然要推高伯雨兄。」他还说：「我以为，写掌故文章的，可以不避道听途说。因为不写道听途说，内容便要缺乏趣味；但是又不可不辨道听途说，因为若是不能辨别谁是道听途说，谁是真实事实，那就失去了掌故文章的价值。《听雨楼丛谈》作者所写的这类文章，就有这样的好处。」

叶高二人，平日不乏往还，最常见的就是赠书借书。高伯雨翻译的《紫禁城的黄昏》出版后，就曾签赠叶灵凤。叶氏日记一九六八年五月十四日有记：「高贞白摘译《紫禁城的黄昏》出版，见赠一册，原本英文是我借给他的。」卢玮銮对此笺注说：「高贞白先生也向我提及此事。」算是一种旁证。许礼平《掌故家高贞白》一书说：「是由修读西洋文学的女儿，从图书馆借来。」怕就埋没了这一段佳话。叶灵凤在收到赠书后，次日即开读，日记里说：「读《紫禁城的黄昏》。高君有些注释，对照原文读起来，增加不少兴趣。」

一九七○年十二月十五日，高伯雨还邀请叶灵凤到美兰茶室喝茶，赠送他为黄濬整理出版的《花随人圣庵摭忆补篇》（一九七○年香港大华出版社出版），又补足《大华》二期。《大华》是高伯雨于一九六六年三月创办的掌故半月刊，第一期就曾惠寄叶氏。叶灵凤曾写过一篇《读〈大华〉创刊号》，自述收到杂志后，「使我很舒服的消磨了一个夜晚」。他认为，「像《大华》这样，为谈掌故而谈掌故的刊物，不存什么成见，内容自然会比其他的更为可观了」。在这篇文章中，叶灵凤还透露了曾经向高伯雨借阅《花随人圣庵摭忆》抄本的情形：「前几年，我曾将《花随人圣庵摭忆》翻过一遍，原书就是向《大华》的主编人林熙先生借来的，还是抄本，据说这是最完整的本子，比目前市上的排印本要多了十多万字。」花随人圣庵主人是黄濬，其父黄彦鸿为光绪进士。黄濬毕业于京师大学堂译学馆，曾留学日本，后任南京国民政府行政院秘书，一九三七年因向日本泄露国民政府江阴封江军事机密，被以叛国罪判处死刑，与其长子一同被处决。他的「摭忆」记录晚清民国朝野掌故，史料价值极高，陈寅恪对其曾有「未可以人废言」之语。叶灵凤亦有相似评价，他说：「如果不以人废言，……倒是颇有些资料的。」