也对英国人提前撤出鼓浪屿有所疑虑，他向道光皇帝奏称：“本年五月间，德酋（指戴维斯）初来广东，即有俟十二月银项交足，鼓浪屿先行退还之议。奴才以夷情叵测，今无故将鼓浪屿先还，焉知不为异日缓交舟山地步？”足见当时中国朝野对于英国人的这一行动，已有所警惕。

    中方将赔偿鸦片战争的赔款已完全交清后，英军却依然留在舟山不肯走。这样一来，道光皇帝再三催促耆英向戴维斯交涉。戴维斯推搪了几次，最后不得不照会耆英，叫他到香港讨论。

    1845年10月，耆英收到戴维斯的照会，内称英国不交舟山，是怕法国侵占，并邀请耆英去香港商谈。耆英信以为真，立即向道光皇帝奏报。其实，戴维斯迟迟不撤退驻舟山英军，是英方尚未最终决定长期占据舟山还是香港。

    耆英于1845年11月20日，二次来到香港，与他同行的，依然是升任巡抚不久的黄恩彤，还有赵长龄、潘仕成等。他们在香港住了4天，到11月25日才离港返广州。

    后来英国政府决定，放弃舟山而集中经营香港，因为舟山方面的英国军官亦有报告书向伦敦呈送，说舟山的地理环境远不如传说中那样理想。英军驻守舟山4年，曾在当地广招人马以巩固其统治，但并没有什么进展。资料记载称，他们虽饬令绅士充当董事，“安良缉匪，并逐日交给字条，令其捐银建设书院、育婴院、养济院、孤老院、埋葬尸棺，延请男女塾师，教训学生，并捐银给予差役”，但是，仍然是“英夷日与定海居民为仇”，人民反抗情绪不减，英国统治十分脆弱。所以，最后由英伦敲定，弃舟山，占香港。戴维斯要耆英到香港来见他，首先要谈的是撤出后如何保障舟山地方与英国有关系的人员的安全，其次才是谈交还舟山的细节问题。

    耆英到港后，向道光皇帝奏报在香港的谈判情形。奏称：“德酋于次日率领夷目多人来见，执礼甚恭。臣告以本年应交洋银尾数业已备齐，可定期来取，舟山亦应如期交还，以符成约。该酋复称银两应俟届期再行请领，舟山必定如约交还。惟英兵在舟山数年，该处人民多与往来，交还之后，乞弗深究。臣等答以该处民人皆天朝赤子，和约内已经载明，凡系中国人与英人往来者，概准免罪，岂有舟山退还之后将该处人民苛待之理？当为出示晓谕，俾共释然无疑，可以无庸过虑。”

    “该酋复称：还交舟山，最有关系，应派大官前往接收，方为妥协。臣思该夷占据舟山数年，现当交割接收，抚绥安缉，自不可稍涉率忽，必须熟悉夷情之员，前往妥为办理。查现任江苏常镇道咸龄，前随奴才办理夷务，素为该夷所信服，当向该夷告知，拟派咸龄前往接收舟山如何？该夷酋复称咸龄既系熟人，又系道员，实属妥当，极为欣喜。”

    英国每从殖民地撤出，一方面要对曾经为他们的侵略出过力的当地人给予安排，这既对得起奴才，又能长期保持英国在当地的利益，英国虽然只经营舟山几年，还是为其奴才争取权益。另一方面，来时威风，走时也要神气，所以提出“大官接收”，“光荣撤退”。

    耆英奏报又称：“该酋复称：舟山一岛，应请大皇帝明降谕旨，英国归还之后，断不给别国驻守。因询其何以虑及于此？该酋惟称：奉朱批以安本国人心等语。当谕以舟山本系中国土地，既经收回，断无给与他国之理，岂得以凭空悬拟，率登奏牍？况地归中国，应由中国主持，又岂外国所宜干预？若代为陈奏，必奉大皇帝严饬，并恐他国闻知，转生猜疑，尤为未便。复经赵长龄、潘仕成等再三晓谕，该酋始领悟，不复坚求。……”

    “臣恪遵历奉谕旨，坚守条约，如约者即为应允，违约者概行驳斥。该酋均一一听受，并无异言，随备夷筵，恭敬款待。又据该国水陆兵头等更番邀请，臣亦置酒相答。连日酬酢，该夷等均极欢