香港总督府即现在的礼宾府。1841年英国占领香港后，将现时花园道、上亚厘毕道至己连拿利的山坡划为政府山 (government hill)，在此建立殖民地的行政中心。港督府位于上亚厘毕道，地理位置优越，前方远眺维多利亚港，俯瞰中区景致；下达政府总署、圣约翰座堂，旁为金钟域多利军营，后有动植物公园，布局反映英国人的管治与生活模式。总督府由第二任测量总署署长卡拉弗利设计，1851年10月正式动工，历时四年至1855年竣工，耗资14,940英镑。英治期间除首三任港督外，其余25位港督均在府内居住。总督府另一个主要功能是接待贵宾。初期接待的都是皇室成员及外籍重要人士，直到第七任港督坚尼地上任后才开始容许华籍商人参与总督府的活动。
最初总督府只有一座以新古典主义建筑风格建成的主楼，落成后历任香港管治者一直有对该建筑进行加建和修改。战前最大的加建工程是扩建东翼。当时总督府由于举行活动日多，港督德辅决定加建东翼，由设计到建成历时仅三年，于1891年启用。东翼主要用作社交活动场地，即今日之宴会厅。东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。1930年代总督府日渐残旧，港督贝璐曾建议于马己仙峡道另建新的总督府，但因经济问题及二次世界大战爆发而搁置。
日本侵华占领香港(1941-45年)期间，以此作为督宪府，并作出大规模改建。改建设划由年仅二十六岁的日本建筑师藤村正一负责，主要加建了中央日式塔楼，加建于原有两座建筑之间，把两座建筑物连接起来；屋顶改为日式瓦顶及修改石柱墙饰，淡化建筑物的欧陆风味；内部装设日式趟门和榻榻米台，并加设了茶室。此改动使总督府变成一座具东洋特色的府弟，成为了现时的模样。1945年日本宣布投降，同年9月16日签署投降书的仪式，举行地点正是总督府。签署仪式所用的长桌，现于香港历史博物馆展出。
战后总督府继续用作总督之官邸。港督杨慕琦于1946年迁回官邸，把日式装置拆除，并改建成四间睡房和浴室。下一任港督葛量洪则在房间墙壁上镶嵌饰板，加装壁炉，增建露台，安装独立空调等，并在主楼门廊入口加置两只石狮子。港督麦理浩则为港督府进行大规模翻新，更换屋顶，宴会厅首次安装中央空调，花园增建腰形泳池；扩充员工宿舍，并加建风格与主楼相配的管家宿舍。港督戴麟趾、尤德、卫奕信及彭定康亦曾为港督府的设计作出少量改动。
1997年香港主权移交予中国，原来打算将港督府更名为“特首府”，作为新任特首的官邸，但据说由于担心英国在府内留下间谍装置，因此当时新任特首董建华拒绝以此为官邸。因此港督府的重新命名出现了问题。最初政府称之为“前港督府”，后经政府专家讨论后，建议将建筑物更名为“紫芦”，取意自建筑物上呈深紫啡色的屋顶。后来由于此名与香港的一些建筑物重名，加上社会普遍不予认同，使得“紫芦”一名最终没被采用，而改称为“礼宾府”。
2005年董建华宣布辞职，新任特首曾荫权宣布将以礼宾府作官邸，并花费1450万港元进行维修工程，包括改良电力、电讯网络和影音系统，以及建造一个锦鲤鱼池，以迎接曾荫权的入住。2006年1月12日，曾荫权与太太正式迁入礼宾府居住，1月16日起，行政长官及行政长官办公室将从政府总部迁至礼宾府办公。特首入住后，“礼宾府”的名称维持不变。
香港礼宾府除了作为香港特首的官邸外，还是香港政府正式接见国家元首、外国政要、重要来宾的场所。香港政府的一些重要仪式也于礼宾府内举行，例如每年的授勋仪式、香港运动员出战奥运会的授旗仪式等。
香港礼宾府于90年代开始举行开放日，最初每年一次，后来增至每年六次，其中一次在三、四月间府内杜鹃花盛开时举行。然而并非整个礼宾府均作开放。开放日的门券收益多数会捐款作慈善用途。现时礼宾府每年开放两次，市民可自由入场，不需门票。具体开放时间及细节一般会在开放日前一个星期通过传媒发放，有关信息也可以在礼宾府网页上查到。
