吕不韦一方面笼络华阳夫人，一方面给异人重金，让他在邯郸广交赵国的贵族官宦以及各国的质子使节，并广纳门客，使其贤名传到秦国华阳夫人和安国君的耳中，以让华阳夫人更加确信自己收养异人为养子是非常正确的选择。虽然吕不韦的联盟之术成功了，但异人依然生活在赵国，并未回到秦国。
秦昭襄王五十年（前257），秦军大举进攻赵国，赵国便想杀异人来报复秦国，异人的人生面临严重危机。此时异人与吕不韦商议，决定拿出600重金贿赂守城的官兵以便脱身，这在当时是极大的数字。从赵国脱身后，异人顺利回到秦军大营，回到安国君身旁，认华阳夫人为养母。
经过吕不韦的多重包装之后，异人已经不再是那个在赵国饱受欺凌的质子了，他现在已经是一个能力超群的王孙，这不仅仅是吕不韦的包装，异人自己本身也是非常有能力和心机的。由于华阳夫人的老家是楚地，所以华阳夫人在收异人为养子后，将其改名为子楚，而异人在去拜见华阳夫人的时候，特地换下赵国的服饰，换上楚地的衣服，以博取华阳夫人的欢心。这样的细节异人都能想到，其心机可见一斑。
经过多次政治斗争，子楚终于取得了华阳夫人的信任。秦昭襄王五十六年（前251），秦昭襄王故去，太子安国君被奉为秦国国君，他就是孝文王，华阳夫人被立为王后，子楚顺理成章地当上了太子。而此时，子楚的夫人赵姬和儿子嬴政还在赵国过着水深火热的生活。
赵姬原为吕不韦的姬妾，一次吕不韦宴请子楚时，命赵姬献舞。赵姬是邯郸城著名的舞女，长相极其美貌，且舞技精湛，子楚看到赵姬的第一眼就觉得眼前一亮，而赵姬的绝世舞技更是让子楚看得热血沸腾，于是子楚便向吕不韦提出将赵姬送与自己。《史记·吕不韦列传》记载：“吕不韦取邯郸诸姬绝好善舞者与居，知有身。子楚从不韦饮，见而说之，因起为寿，请之。吕不韦怒，念业已破家为子楚，欲以钓奇，乃遂献其姬。”由此可见，当时吕不韦虽然非常愤怒，但他转念一想，自己为子楚已经破费了家业，为了达到“立主定国”的目的，于是便拱手将如花似玉的爱妾让给了子楚。
赵姬嫁给子楚后，生下一个男孩，就是后来的秦始皇——嬴政，《史记·秦始皇本纪》记载：“秦秦始皇者，秦庄襄王子也。庄襄王为秦质子于赵，见吕不韦姬，悦而取之，生始皇。以秦昭王四十八年正月生于邯郸，及生，名为政，姓赵氏。”由于那时候有把出生地作为姓氏的习俗，因此，子楚之子名为赵政。
关于秦始皇到底是子楚的儿子还是吕不韦的儿子，学术界一直存在争论。
认为“秦始皇是吕不韦之子”的依据为司马迁的《史记·吕不韦列传》记载：“姬自匿有身，至大期时生子政。”而关于秦始皇的生父是谁，除了《史记》之外，其他文献并无记载，因此，判断秦始皇生父的文献只能以《史记》为基础。
而认为“秦始皇是子楚之子”的依据为《史记·秦始皇本纪》，里面记载“庄襄王为秦质子于赵，见吕不韦姬，悦而取之，生始皇”，这本书里完全没有提及赵姬怀孕嫁给子楚一事。
除了这两条文献，人们还关注到一个内容，就是赵姬“至大期时生子政”，“大期”在古代有两种解释：一是指怀胎满10个月而生；二是指怀胎满12个月而生，不管怎样，赵政都不是不足月而生。在古代，女子是否怀孕至少要在女子怀孕一个多月后才能知道，如果赵姬怀的是吕不韦的孩子，那赵政肯定是不足月时就会出生，而《史记》又记载赵政是“大期”而生，因此可以确定秦始皇不是吕不韦之子。
秦始皇的身世在当时或者后世已经成为一种政治斗争的工具，如果秦始皇是吕不韦之子，那就说明秦始皇不是秦朝王室嬴氏血统，他的政敌就找到了一个最好的造反理由；其次，吕不韦可以凭借和秦始皇的亲情获得他的支持，便于和长信侯嫪毐对抗；第三，这种假设颇够解六国人之恨，吕不韦非秦国人，而他让自己的儿子夺了秦国江山，证明秦先于六国而亡，这使被秦灭亡的六国人在心理上感到一种满足。
尽管秦始皇的身世扑朔迷离，但是，不管秦始皇的父亲到底是谁，都不会影响到他在历史上的地位，这一点毋庸置疑。
当年，秦国攻打赵国，赵国想将秦国的质子子楚杀掉，而吕不韦和子楚用重金收买了守城门的官兵，得以逃回秦国。但赵姬和赵政并未和子楚一起逃脱，他们被留在了赵国。年幼的赵政和母亲在赵国为了躲避追杀，东躲西藏，寄人篱下，食居不安，受人欺侮，被人轻视，忍气吞声地过日子。
赵政的整个童年都是在赵国度过的，赵政和其母赵姬作为人质生活在赵国自然受尽了别人的欺辱，加上当时的秦国与赵国不睦，秦国对赵国发动多次进攻，赵政和母亲赵姬更是被别人唾弃和鄙视。而且当时还传言说赵政有两个父亲：一个是异人，一个是吕不韦，这让年幼的赵政心里更加难受。秦始皇后来的残暴和他童年痛苦的生活和人生经历不无关系，童年的秦始皇没有地位，没人看得起他，所有的人都在伤害他，这也必定会使其形成仇恨周围人的心理，为他以后的残暴打下了“基础”。
在别人的歧视和侮辱中，赵政度过了他的童年，直到公元前251年，当上太子的子楚才和吕不韦想办法将赵政和赵姬接回了秦国。赵姬终于结束了在赵国的悲惨生活，回到了丈夫子楚的身边，而年幼的赵政也结束了他在赵国九年难熬的孩提时代，开始了他在秦王宫里的政治生涯。
