占地一千多平米（四百坪）的「大公馆」，是在一九二一年建造的。当时，主人为犹太商人Ray Joseph，他因常年从事跨国贸易而发财，在上海虹口、徐汇等地拥有不少房产。
笃信风水的Ray Joseph为建立上海的贸易根据地，请了法国设计师Davis和Brooke，在当时著名的霞飞路边风水宝地，建了这座精美的花园，并取名「大公馆」。建成后，成为富豪巨商、文化名人造访的重镇。
一九三○年代，一位上海闻名的大亨─杜月笙的门人，因承包航空彩票赚得暴利，便以重金购下大公馆献给杜月笙，当时因而被称为「杜公馆」。一九四六年，杜月笙又将大公馆转赠红极一时的国民党军统特务戴笠，藉此贿赂他，冀望能获得上海市长宝座。
没想到戴笠得了房子不久便遭遇空难，杜月笙的市长梦也就破灭了。据传，戴笠得到「大公馆」后，曾将房产转让当红明星胡蝶名下。期间，大公馆内国民党首脑及蒋、宋、孔、陈四大家族的嫡亲、政府要员、中外各界名流云集，可谓宾朋满座，莺歌燕舞。
做为军统特务头子，戴笠一生毁誉参半，尤其在「玩女人」方面相当令人訾议。胡蝶当时是当红明星，与上海警备司令杨虎及杜月笙熟识，戴笠便透过杜月笙及杨虎，促成了与已婚的胡蝶一段恋情。
一九四九年中共建政后，「大公馆」这幢历史建筑被市政府接收，列为文化历史保护建筑。五○年代初期，曾一度成为苏联驻华文化代办处驻地。后来成为上海市府外事接待活动中心，接待过各国名流政要。
时任上海市第一任市长的陈毅，也经常在此接待贵宾。一九七二年，《中美联合公报》中不少谈判便在大公馆中秘密举行。如今，周恩来和尼克森坐过的椅子，仍原封不动的保留。《中美联合公报》中提出的「海峡两岸」词汇，便是在此商谈提出，也首次在中共外交档案确认下来。
外界一般认为，杜月笙的故居是新乐路一六七号的东湖宾馆。这并没错，东湖滨馆当时确曾一度属于杜月笙，不过，他一天都没住过，因为杜月笙相当迷信，认为那房子「有邪气」。
从「大公馆」门廊进入这幢文艺复兴式的花园别墅，黄色墙体给人一种沉静觉。两根粗壮立柱撑起宽大的门檐，予人雍容华贵的感觉。尽管经过八十年岁月，「大公馆」格局并没有打破，门、柱、护墙板皆为原色，雕花精致。「大公馆」如今月租金达二十万人民币（约九十万台币），但显然上海业者经营有成，才能营造它不辍的光彩。
