1855年6月1日，年仅23岁的李泰国接替威妥玛，担任江海关关税管理委员会的英方代表。他接任后，广为联络清政府官员并极力讨好其他驻华大使。据称，李泰国在任上“始终勤慎，秉公办理”，不赞成在中国建立由外国领事直接控制的完全殖民性质的海关，主张创立一种形式上由中国保留独立、而实际由有中国雇员身份的洋人来“帮办”管理的海关。他还制定了《各国商船进出起卸货物完纳钞税条款》等规章制度，使海关的面貌焕然一新。与此同时，美国领事法制定了新的政策，明确美国公使和领事们不得推荐任何公民充任任何外国政府的职务，李泰国当然不会放弃捡来的便宜，乘机独揽了上海海关的行政大权，为英国在中国海关机构的主导地位奠定了基础。
当时，太平天国起义席卷千里，清政府急需大量的财政收入来支持内战的军费开支。据史料记载，太平军定都南京以后，清军在城东孝陵卫扎起了江南大营。“江苏军饷每月须40万，所恃者上海夷税10余万，借以敷衍。”李泰国的有效治理，为清朝的战时财政雪中送炭。1859年5月，上海道吴煦在给皇帝的奏折中说，“自李泰国经理夷税征收之后，税钞大有起色，按年比较，银数倍增，已为口岸开放之初的三四倍”。因此，博得了清政府的信任和赞赏。
1860年1月20日（咸丰十年），总理各国事务衙门成立，对全国海关实行体制改革统一管理，正式委任李泰国为中国海关史上第一任总税务司，成为清政府中官阶最高、权力最大的外籍雇员之一。但是，这个官位李泰国并没留恋太久，由于天平军攻陷宁绍杭地区，兵锋直指上海，认为清朝很快覆亡的他，“不愿与可能会覆灭的王朝保持紧密的联系”。第二年，李泰国就告病去英国进行“休养式治疗”了。
于是，一个26岁的英国小伙子罗伯特·赫德代理了总税务司的职务。1861年7月9日，赫德在自己的日记中提到，从这一天起，清朝政府给他涨了一倍的薪水，月俸800两白银。自制、沉着、圆通的赫德，读过《论语》、《孟子》，还有《中庸》，后来还看了小说《红楼梦》。因为熟通汉语并且了解中国官场礼节和官员习气，赫德获得了清政府上层人物的交口称赞，很快由“代”转正，成为中国正式的海关CEO，且在这个职位上他一口气干了四十五年。
在赫德上任的时候，总税务司署所辖的海关，雇用洋员400人，华员约千人，遍及所有的通商城市，俨然是一个很庞大的行政部门了。赫德作为“一把手”，海关的人事到运作管理都大权在握。海关的主权管理竟然全部依靠“洋外援”，这是一个主权国家的耻辱记录，然而极具讽刺意味的是，以“中国政府外籍雇员”自居的赫德，整套引进了英国行政管理经验，无论行政组织、人事管理还是征税章程都置于一个严格、统一的体系之内，由英国财政部官员制定的财务制度和轮岗回避制度等，使海关部门鲜有舞弊行为，在衰朽的封建制度中，竟然创造出了唯一廉洁不贪腐的高效衙门。
从纯技术角度分析，赫德控制下的旧中国海关是个颇有秩序和效率的机构，创建了税收、统计、浚港、检疫等一整套严格的海关管理制度。随着对外贸易的扩大以及征税制度逐步完善，原本不起眼的海关居然在不到二十年的时间里，成为清朝最重要的经济机构和最稳定、可靠的财政来源。据统计，海关税收在1861年已有5036万两，到1910年达到34519万两，五十年时间增长了68倍。在建关的前五年，海关就为清政府偿还了《北京条约》规定的1600万两英法赔款，因此清朝向国外购武器舰船、筹措借款，甚至“被打了还要摸钱道歉”的时候都会以关税做抵押。
撰写《百年中国经济史笔记》的经济学家杨小凯，在书中评论说：“过去的很多史书都指称清朝卖国的证据是将海关权力让与外人，其实这种指责是一种不准确的政治宣传。清末海关虽由英国人赫德管理，但他是作为清政府的雇员，行使他的职权。他的管理不但使中国海关迅速现代化，而且使海关成为最有效率、最少贪污的清朝官僚机构。他保证了条约制度对关税率的限制，因而促进了自由贸易及公平税收，他也保证了用有效率的管理和制度为清朝政府提供了大量税收。”由于制度健全，组织严密，这套机构和制度经受住了多次政局的剧烈动荡，被历届民国政府全盘继承，一直运行到 1949年。
1865年，总税务署从上海迁到北京（1929年又迁回上海）。对清政府，赫德采取扶植和改造的政策，因此他向他的雇主提了许多改制强国的建议，他在日记中写道：“如果政策改变了，中国可以成为各国的领袖；如果政策不改变，它将变成各国的奴仆。”然而，他的建议要到三十年以后才能引起一些中国改良派的共鸣。
赫德的人生在中国点燃了最绚烂的烟花，他不仅在海关发挥了举足轻重的作用，1862年他用海关税收的经费，在北京创办了中国第一个新式学校——京师同文馆，这是清代开办的采用班级授课制的第一所洋务学堂；1866年，赫德回英国结婚时，劝说清政府派官员出国考察，促成了中国第一个欧洲观光使团的出访；1878年，赫德获得李鸿章的支持，依照欧洲模式试办邮政，并从英国购进印刷邮票机器，在上海造册处印制发行中国第一套邮票——大龙邮票，中国近代邮政由此发端。
赫德在中国的确做了一些好事，传统教科书往往把他妖魔化，但赫德毕竟不是白求恩，赫德“同志”到中国来不是为中国事业献身的。典型的例子是，他逐步将海关进行西化，中国人在海关中只能任译员、中文秘书或巡役、听差、司门、司夜、排印工等最低下的工作，被完全排斥在海关高级职员群体之外，到1907年时，海关税务司中几乎没有一个中国人。另外，海关职员洋人，因享有治外法权，故不受中国法律的管辖。
在赫德辖治下，中国海关进口税率一直保持在5%的水平，而关税是保护民族产业的壁垒，同时期的新兴工业化国家无不实行关税壁垒，防止外国货品冲击。以美国为例，19世纪上半叶其进口关税曾高达50%。在5%的低进口税率下，西方国家的工业品充斥中国市场，挤压了中国民族工业的发展空间，同时完全破坏了中国自给自足的小农经济，使中国和印度一样沦为原料产地和英国工业品的销售市场。
赫德还曾建议清政府，征收“洋药”印花税，用以购置英国的炮船镇压太平军，这里所谓的“洋药”其实就是鸦片。朝廷批准了这个建议，并请赫德代理采购军舰。赫德将消息告诉了在英国休假的李泰国，李泰国表现出了极大的热情。古往今来，政府采购从来是个肥差。
清同治二年（1863年5月9日），李泰国回到上海销假，在与新任江苏巡抚李鸿章的会谈中，他故作不经意地透露说，自己在伦敦用80万两订购了7艘军舰，还为大清帝国招募了一支由600名各国水手和退役士兵组成的雇佣军。目前，这7艘军舰正在由他委任的舰队司令、英国皇家海军阿思本上校率领前来途中。如果不出意外，几个星期后就能到达中国。
代购军舰，怎么给拉来了一支军队？此时，李鸿章正在组建自己嫡系部队淮军，听闻李泰国竟然擅自做主建了一支洋军，不禁大吃一惊。更不可思议的是，李泰国坚称中国地方官员过于腐败，因此舰队不能听其调度，他已经与阿思本签订“李阿合同”，规定舰队司令阿思本，只执行由李泰国传达的命令，而新舰队的军需费用将由他负责从关税收入中分配。
李鸿章彻底被雷倒了，这不是政府出钱，给李泰国拉了一支私人武装，然后还要帮他养着？李鸿章急忙将情况汇报给曾国藩和恭亲王奕。李泰国骄纵跋扈的做法，激起了曾国藩、李鸿章等前线大员们的强烈不满。花钱买军舰，最后变成裤裆里掉进黄泥巴——不是屎也是屎了。10月5日，阿思本也凑热闹，向总理衙门发出最后通牒，限48小时内批准“李阿合同”，否则解散舰队。
始作俑者之一的赫德，虽然也觉得有些离谱，但他并不认为李泰国在主观上想侵夺军权，而是其过于“英国化”，忽视了中国国情。最终，清政府被迫解散舰队，变卖舰艇，遣散雇佣军，这成为清朝洋务运动的第一次重大挫折。直到1875年，赫德再次协助清朝在英国订造4舰炮船，成为中国第一支近代化海军舰队北洋水师的起源。然而，这支耗巨资打造的当时堪称世界第六、亚洲第一的海军舰队，第一次出征就在甲午战争中沉入黄海，中国海军精华尽失。
“赫老总”一生，在中国住了五十四年，经历了中国近代史上从太平天国运动、洋务运动直至世纪之交的义和团运动这几个重要历史事件。1908年，病中的赫德写下了一首诗，“你嬉戏已足，你吃饱喝足，该是你离去的时候了”。赫德知道，他应该叶落归根了。登车离开那天，据《泰晤士报》报道，当时，赫德神情落寞，短大衣没扣纽扣，有些皱巴，步履疲惫蹒跚，他低着秃顶的头，与送行的人们一一道别，灰色的目光中满是失意。随着列车驶离北京，送行的人回到赫德办公室，发现他的办公桌上钉着一张便条，上面是赫德留下的最后字迹：“1908年4月13日上午7时，罗伯特·赫德走了。”笔迹潦草而伤感。
三年后，也就是1911年9月20日，赫德在英国白金汉郡病逝，享年76岁。死后的第三天，清政府将 “太子太保”头衔追授给了这位外国人。这是清朝最高的荣誉称号，要知道，晚清得授太子太保头衔的只有三个人，另外两个分别是中兴名臣曾国藩和洋务派领袖李鸿章。17天后，中国爆发辛亥革命；两个月后，他为之服务半个世纪的大清王朝也灯枯油尽，停止了“呼吸”。又过了三年，上海外滩海关大楼前矗立起了一座赫德塑像，铜像由英国人设计并在英国铸造，它把赫德离开中国、在月台上转身离开的瞬间，永久地定格了下来。20世纪40年代，上海沦陷期间，赫德铜像被拆毁。一切都被悄无声息地埋进了历史的尘埃里。
赫德离去了，但江海关的故事还在继续。武昌起义爆发后，海关在清政府和革命党人之间竟以“中立”自居，以英国为首的债权国借口中国发生内战，决定扣留中国的关税，由汇丰、德华、道胜三家银行收存。一个主权国家竟然对自己的海关没有独立、自主的权利，这种现象简直是不可思议。
当年上海外滩正在建造中的海关大楼海关的“中立”，对当时的局势产生了重要影响。因为海关“中立”致使清政府财源枯竭、军火匮乏，既然没有钱就没有军饷，仗也就打不起来了。于是，清政府同意革命党人坐到谈判桌前，最后爱新觉罗氏家族能屈能伸，赢得了中国历史上唯一一个安全而体面的集体“下岗专制”。
1923年，江海关决定拆除旧房，投资430万两白银，请英国公和洋行设计，在原址重建新关署。1925年12月15日大楼奠基，两年后一座高792米的钢筋混凝土框架结构建筑，矗立在黄浦江畔。大楼的外墙全部用花岗石垒砌，尤其是门廊的4根多立克式柱子，做得极为地道。整栋建筑共有10台电梯、6个楼梯，大楼内合计有392个房间。大厦建成时，时任江海关税务司的英国人梅乐和（F.W.Maze）用戒指上的钻石，在办公室的玻璃窗上，刻下了自己的名字。据称，这个“到此一游”的印记，至今尚在。
1928年元旦，上海海关楼顶上的大钟敲响了它的第一声，曾闻名沪上的《申报》记载：“其鸣声亦殊宏亮，若在静夜，几可闻于全埠。”从此，悠扬的钟声每天在黄浦江上空回荡。
最后一段插曲是，海关的大钟每隔一刻钟就会报时一次，而且钟锤就像弹钢琴般起起落落，敲在不同的钟铃上，奏响4个节拍的英国古典名曲《威斯敏斯特》。此后的事情变得颇为传奇：“文化大革命”中，这首洋曲被《东方红》所代替；1987年英国女皇访问上海，钟楼报刻的钟声被恢复原状；1997年7月1日香港回归祖国，从当年6月30日零时起，海关大钟报时乐曲停奏。四
