在这几十年当中，热罗姆亲王并没有尝试和帕特森女士以及她的儿子联系，显然已经做好了决断，将他们通通地抛到了脑后。
所以，当听到了夏尔提起这个人之后，他的反应才会那么剧烈。
伊丽莎白·帕特森女士的哥哥罗伯特·帕特森，娶了一位富家女子玛丽安·卡顿，而他在1822年去世之后，他的遗孀经过多年的寡居最后决定嫁给同样丧妻的韦尔斯利侯爵——也就是威灵顿公爵的亲哥哥。
科西嘉岛乡间土豪出身的拿破仑，瞧不起美国这些土豪，不想让兄弟们和他们结亲，结果世代传家的英国贵族们却没有这么多顾忌，说起来倒是有些令人唏嘘
所以当他听说了弟弟和帕特森女士的婚姻之后顿时就大发雷霆，并且宣称他不承认这段婚姻。
拿破仑皇帝先是想要让教皇宣布婚姻无效，但是教皇认为这桩婚姻手续完备，无法废弃，所以没有答应，于是皇帝干脆自己下圣旨直接不承认这段婚事。
因为当时英法是交战状态，所以热罗姆夫妇是坐船来到了中立国葡萄牙。可是一来到欧洲大陆上的时候，他们就听到了这个噩耗，顿感震惊和失望。
他们商量了一会儿之后，热罗姆决定自己先回法国，去劝说哥哥回心转意，于是就将妻子留在了那里，伊丽莎白·帕特森最后不得不前往英国生下了孩子，可是她的丈夫却再也没有回头。
到了法国之后，拿破仑对自己行事荒唐的幼弟一顿劈头盖脸的怒骂，然后强势地命令他必须抛弃掉没有贵族身份的伊丽莎白·帕特森，哪怕热罗姆百般辩解并且告诉哥哥她已经怀了孕，也没有改变哥哥的主意。
当然，拿破仑也并不是一味的强压，他也使用了利诱的手段——他告诉自己的弟弟，他将会在未来为他找到一个王族的公主做妻子，并且为他找一个王国置于他的统治之下。
在成为国王和保住妻儿之间，并没有经过多少纠结，热罗姆亲王殿下就明智地选择了听从哥哥的命令。而从此之后，就再也没有去看过这对母子。
拿破仑皇帝兑现了诺言，他后来让热罗姆娶了符腾堡公国的公主凯瑟琳娜，并且还创建了一个威斯特伐利亚王国，让弟弟当了真正的国王。
可惜好景不长，帝国很快就崩塌了，而威斯特伐利亚王国也随着拿破仑的陨落而消失，变成了历史的陈迹。
不过和背弃了拿破仑皇帝的露依莎皇后不同，凯瑟琳娜王后并没有抛弃丈夫，而是继续跟随着热罗姆亲王隐居，并且最后为他生下了两男一女三个孩子，而热罗姆支系也就成为了现在波拿巴家族人丁最旺的一个支系。
