一九三二年，第十届奥运会在美国洛杉矶举行。中华全国体育协进会根据《奥林匹克宪章》有权向奥运会派出参赛运动员，然而，中华全国体育协进会属于民间团体，并没有经费，于是向当时的教育部提出电请，要求政府支持参加奥运会。洛杉矶奥运会定于七月三十日举行开幕式，教育部却在五月下旬突然宣布，决定不派遣运动员参加，理由为“时间仓促，准备不足”，仅由中华全国体育协进会总干事沈嗣良以代表身份赴美观礼。

当年六月，潘德明抵达奥运会的发祥地希腊古奥林匹亚遗址。在报纸上，他看到中国因资金问题没有派运动员参加洛杉矶奥运会，愤而在古运动场遗址旁贴纸条，用中英文写下两行大字：“中国人潘德明步行到此！”在希腊期间，潘德明获得时任首相维尼各罗斯（Venizelos）的礼遇，维尼各罗斯接见他时说：“我从你身上看到了东方古国的觉醒。”

一九三四年到达美国，潘德明还受到时任总统罗斯福的接见，罗斯福赠送他一枚金牌，称赞道：“荣誉永远属于有奋斗精神的人”。

潘德明曾就读于东吴大学第三附中，这所学校是今天湖州二中的前身。据了解，一九九八年迁至新校区后，该校新建了以潘德明的名字命名的艺体馆，近年学校还增设纪念环节，高三学生每年都会在潘德明艺体馆前拍毕业照，以此传承其精神。