这与高尔顿在剑桥时期的观察相一致，即许多人之所以能够赢得荣誉和高分，是因为他们的父亲和兄弟都是成功者。于是，高尔顿设想并着手进行一个尽管繁重却极有价值的研究项目：检查和统计在过去40年时间内获得剑桥古典知识和数学高分的人及其家庭背景。如其所料，高分获得者果然一直由某些家庭的子女获取，比例极不匀称。他于1865年将结果发表出去，自此之后，他便将自己的工作重心转移至对人类心理能力的遗传本质的研究，并探寻如何才能通过选择繁殖而改进人类的出路。高尔顿一定感到命运跟他所开的恶作剧，因为他和妻子未能生出一个孩子。按照弗洛伊德主义来看，他对这个课题的执著是其不能生育的补偿。
尽管高尔顿在剑桥一直未能拿到数学荣誉，但其研究方法却有着数学的特质；跟古希腊虽有语音障碍却矢志成为一名演说家的雄辩家狄摩西尼一样，高尔顿将自己的弱点变成了最大的长处。他研究智力，或研究任何使其感兴趣的问题的方法，就是找出某种能够计量的东西，并通过计量，计算出比例，再得出平均值，最后得出结论。在非洲，他测量了许多当地妇女（保持着明智的距离）的一些数字，并拿这些数字与在英国的妇女进行比较，结果发现这些数字是不同的。他每到一个城市，都会以美、中、丑为标准而划分他所遇到的女性，回到家后他发现，美女在伦敦最多，在阿伯丁最少。在一次科学会议上，他以50名听从作为样本，他计算每分钟观众所发生的烦躁次数，结果发现，当讲演引起听众的兴致时，烦躁次数即减少一多半。
高尔顿于1869年出版了《遗传天赋》一书。这是他的第一部，也是论心理能力遗传的4部大作中最有影响力的一部。该书旨在选择一系列少有的杰出人物，察看这些人的家庭，比较这些家庭的才智与一般家庭的差距。他的杰出的标准，在此是指其在公众中的名声：
我将社会及职业生涯看做不间断的检验。人们所从事的一切都是为7赢得别人的好感，为了在自己的职业里获取成功。他们的成功在对他们进行总体评价时占有很重要的位置。
为测量这种声望（也即心理能力）的发生频度，他计算了1868年和更早时间《伦敦时报》上的讣文，结果发现，在超过中年人的每100万人口当中，就会有250人刊登讣文，也就是只有四千分之一。
然后，他又着手将一些杰出人士家庭中闻名人物的比例与之相比较，如自宗教改革以来的英国法官、过去几百年以来的首相和著名军事首领、文学家、科学家、诗人、画家、音乐家和新教神职人员。他计算出，这些人出现的比例要远远少于四千分之一；他的估计是百万分之一。如果天才是遗传的，他应该在他们的亲戚中发现比百万分之一甚至四千分之一高得多的杰出人物出现率。
高尔顿根据“离均差原则”来估计天才人物的稀少率。这一法则是该世纪初某些数学家推算出来的，可用来指述天文观测中的误差分布，以及赌博中数字和牌的分布，也同样适用于人类特质的变化趋势。1835年，比利时天文学家阿道夫·奎特勒（Adolphe Quetelet）在研究过法国兵员的信息后宣布说，过高的不多，过矮的也不多，大部分身高介于两者之中，达到或接近平均值的占绝大多数。这个数据，如果在图形上表示出来，就将是一个钟形曲线，大部分人处在中间的大钟位置。从中间开始，越向两边，人越少。人类特征的“正态分布曲线”概念在今天看来已熟视无睹，但在奎特勒的时代，居然可以成为一个发现。
高尔顿推想，有关身高的这一实际情况，在人体的其他特征中也应该表现出来，如脑重、神经纤维的数量、感官灵敏度以及心理能力等。如果如此，一个人的心理能力也应该遵守这个正态分布曲线。他把人类的智力曲线分成16等分——8个在平均值以上，8个在平均值以下——然后，根据曲线的形状计算每段的人口比例。他说，两个最高的段加起来仅有百万分之二百四十八，完全符合四千分之一的杰出人物比例。但在曲线的两端，人数变得更少。真正杰出的人只有百万分之一，而且，他希望证明的是，这些人天生如此，而不是造就或自我塑造的结果：
我很反感这个假设：婴儿生下来时大都差不多，孩子之间、成人之间造成差别的惟一原因是稳步的教育和道德培养。对于天生平等这样的观点，我极力反对。育儿园、中小学和大学的经验，再加上职业生涯的体验，都是相反的佐证。
高尔顿感到确定的是，在一个“进步的”社会里（他的术语），比如维多利亚时代的英国，天生能力一定会得到成功的嘉奖：“如果一个人有很高的智力水平，有愿意工作的急迫心情，还有工作的能力，我无法理解这样一个人怎么可能受到压抑……（反过来，）他一定能受到公众的欢呼。”
高尔顿在宗谱研究上付出的辛勤劳动所得出的硕果是，他发现在其抽样调查的286位法官中，约有九分之一是另一位法官的父亲、儿子或兄弟；另外，在这些法官的亲戚中，也将产生出主教、海陆将军、小说家、诗人和医生。在这些人的家庭里，杰出人物出现的几率比在普通家庭里面的出现几率高好几百倍；在其他类别的名人中，情况亦是如此。
他总结了各类杰出人物的数据，报告说，有百分之三十一的人父辈杰出，百分之四十一的人兄弟杰出，百分之四十八的人子女杰出。另外，杰出人物与其亲戚的关系越近，该亲戚出名的可能性也就越大。高尔顿非常高兴，因为他已经彻底证明了自己所提出的假设——“人类天生的能力来自遗传，与整个有机世界的自然特性遵守同一法则。”
现代心理学家可以指出高尔顿方法学中具有许多天真的缺点，尤其是没有说明杰出人物成长环境的重要性；如果大部分人是在极其有利的环境中成长起来的，这些数据也许就会得出环境和遗传具有同等重要的影响力这样的结果。不过，无论高尔顿的方法中存在何种局限，他已经确立了智力中的遗传性，认为它是心理学研究中一个有价值的课题。自此之后，情况也的确如此。
但高尔顿的名声却因此而被蒙上污点，因为他根据自己发现及从历史上发掘出来的信息，正式提出一项社会政策，即“优生学”这一术语。自1869年出版有关遗传天才的第一部书开始，到191 1年他逝世时为止，他一直认为，如果鼓励并奖励优秀人种的繁殖，社会就一定能得到改善并进步：
（优生学是）改善血统的科学，它……充分肯定了各种影响力的作用，而这些影响力倾向于以不同的程度将更好的发展机会施予更合适的种族或血统，而不是施予那些不那么合适的种族。
高尔顿的观点在纳粹分子的手中得到了十分可怕的发挥。纳粹鼓励纯种“雅利安人”大量繁殖，并认为犹太人、吉卜赛人和其他一些人种是劣质人种，应该遭到根除。按照传记作家们的说法，高尔顿本人看上去温文尔雅，谈吐不俗，显然不是种族灭绝论的倡导者。但就处理种族问题而言，高尔顿所说的某些话已离种族灭绝论相差无几了：
当有天赋的社会阶层获得权力时，蛮横的等级制度也找不出任何理由来胆止他们以慈爱对待同胞，当然这里有一个前提，就是后者要保持强身，不能结婚生子。但是如果接二连三地生出道德感、智力和生理素质都很差的孩子，我相信，终将有一天，这些人将被视为国家的敌人，许多仁慈之举也将前功尽弃。
人们兴许会想，持这种见解者，即认为自己所属的群体以外的其他群体都是下等人者，一定就是个种族歧视分子，但高尔顿并不是。他估计出黑人的平均智力比英国人低两个级别，但同时认为英国人比古希腊人的智力水平也低两个级别；他还说，他非常想调查一下意大利人和犹太人：“他们似乎拥有很多高智商的家族。”
高尔顿的优生学思想并没有成为今日心理学的任何一个部分，不过，他的这些想法却引导其发明一些在这个领域里非常有价值的研究方法。心理特征遗传性的家族研究只是其中一例。另一例，也是更有用的一例，是高尔顿因《遗传天赋》受到批评而受到鼓舞才创造出来的。这些批评指出了环境对智力的影响。瑞士植物学家阿方斯·康多尔提出许多统计数据，指明了伟大的科学家大都来自气候温和、宗教宽容、政体民主和拥有健康商业兴趣的国家——这些都是环境的影响。
这一点激发了高尔顿的灵感，使他想到应该区分一下遗传和环境在杰出成就中的影响，特别是在科学领域里。1874年，在《科学的英国人》中，他实事求是地提出了这个问题，陈述了遗传及环境对成长的影响，其表达的简明扼要度堪为这个语言的楷模：
“天性和教养（nature and nurture）”是一个很合适的押韵词汇，因为它把性格所构成的无数元素分散在两个不同的名目之下。天性是人与生俱来的一切；教养是出生后他所受到的所有影响。区别非常清楚：一种使婴儿成为其本来的样子，包括其潜在的生理和心理能力；另一种刚提供其生长的环境，天性的倾向可在其中得到加强或阻碍，或再造出全新的倾向。
为了解天性和教养在科学成就上产生的作用，高尔顿发明出另一种研究工具：自陈问卷。他设计出一套问卷，让受调查者回答有关民族、宗教、社会和政治背景、性格特征，甚至还包括头发的颜色及帽子的大小等，再将问卷分发给皇家协会的200名会员。其中一些关键问题是：“您的科学品味看上去有多少是天生的？它们是在您成人之后受某些事件的激发而形成的吗？如果是，都是哪些事件呢？”
尽管问卷长得“惊人”——高尔顿自己的用语一大部分受试者还是完成并寄回了问卷（这是历史上第一份此类问卷；今天的研究者们也许不会遇到这样积极的配合）。高尔顿将反馈列入表中后发现，大部分人相信他们对科学的兴趣是天生的；另一方面，大部分反馈者对教育是否有助于他们谈兴颇高。因此，高尔顿觉得非得承认环境因素不可，特别是教育，它可以加强或阻碍科学资质的发展，而科学资质的遗传则不一定将其引向成功。但他认为，遗传资质是科学成就中最基本的因素，这一点是显而易见的。
很长时间之后，随着研究方法的不断发展，人们发现，高尔顿的问卷和他对数据的分析存在着严重的错误。其一是，问卷中的许多问题，特别是有关受试者成功因素的问题，只能是一些主观的看法。其二是，高尔顿没有将问卷交给那些尚未成名的科学家和非科学家们，这不便于与那些成名科学家的答案进行比较；其三是，他没有办法（虽然后来又发明一个）用数学办法来衡量任何两个因素之间的关系，因而也就无法评判关联是出于偶然还是有显著意义。不过，高尔顿使用的问卷和数据分析法却可以列为极其重要的发明之一，此后一直成为心理学研究中不可或缺的工具。
在接下来的10年中，已届中年的高尔顿工作更加勤奋，全身心地致力于对个人心理差异的研究。1883年，他出版一部杂文集，定名为《人类才能及其发展的探索》，集中探讨了约30个不同的课题。该书是科学与思辨、数据和猜想、统计与传闻的奇妙结合，其中一些课题原本想传达科学的意义，结果却变成维多利亚时代男子的偏见集。比如，在论及“性格”一章里，高尔顿在没有任何证据的情况下妄断道：“在妇女的性格中，有一个十分明显的特征，那就是，反复无常，忸怩作态，不像男人那样直截了当。”
他的这一观点是从进化论的基础上推理出来的：在追求配偶时，如果没有雌性的犹豫和雄性的竞争，“种族可能会因为没有性的选择而降低水平，而做爱前拖泥带水的前戏正好为性的选择提供了机会”。
尽管如此，《人类才能及其发展的探索》一书中仍有相当一部分是富有创见的科学研究成果。其中之一是解决了唤起心理意象的能力。高尔顿发现，不是科学家的人大都以非常鲜明的心理意象来思考问题，而大多数科学家却是以纯粹抽象的用语来进行思考。因而，他推想道，唤起鲜明心理图像的能力有可能妨碍高度概括和抽象的思维。在另一份研究中，他报告了自己发明的词汇联想测试。他设计出一个包含75个刺激词的词汇表，自己一个接一个地察看这些单词，再将联想到的两或三个单词写在旁边。他所学的大部分并不起眼，甚至在重复测试时，他得到的仍是相同的联想词。但他的观察的真正价值在于，大多数联想单词是从他自己的切身经验中得来的，别人根本不可能产生出与他同样的联想。结果是，词汇联想测试随即成为研究个体间性格差异的主要手段。
值得注意的另一项研究来自高尔顿的又一个创新。在苦苦思索如何演示天性和教养对能力和性格的影响时，他想到了一个绝妙的主意：追踪“儿时非常相像，但分开养大；或儿时不太相像，但却一起养大”的双胞胎的后期发展情况。他知道，双胞胎有两种：一种在生理上几乎一模一样，另一种则与普通的兄弟姐妹差不多。如果双胞胎原来极其相像，但经过生活的磨炼后变得不太相像，则可能是后天的教养使然；如果两个原来不怎么相像，在一起哺育后，仍然保持其不太相像的特征，则可能是天性使然。
这是个非常了不起的假设，只是高尔顿证明它的方法过于肤浅。他给认识的双胞胎或其亲戚寄去问卷，同时请他们将其他双胞胎的名字告诉他。他一共找到94个例子，其中80个“极相像”（也许一模一样），35个提供有足够的细节。
他对双胞胎的研究报告在很大程度上由逸闻趣事构成；报告讲到一些爱跟人开玩笑的双胞胎，或由于校长分不清哪一个应该受到处罚而同时处罚了两个人，还讲到有时弟弟会去追求哥哥的女朋友，等等。但当高尔顿对档案材料进行归类，希望找到后来性格产生变化的双胞胎时，他发现，对于一些人来说，“身体和心理的相像至死保持不变，不管生活的环境如何不同”。其他人则显示出差异，在这种情况下，几乎无一例外的是因为双胞胎的其中一个受到了疾病或事故的影响。相比较而言，儿童时期不相像的双胞胎（可能是兄弟），哪怕是在一起以同样的方法哺养长大，在此后的人生道路上仍然保持着非相似性。
