多年来，人们在对美貌和吸引力做出积极归因的同时，对异常外貌的解释却常常是消极的。据肖（Shaw）报告，有一块公元前2000年的牌匾，上面写着如果一个婴儿“没有舌头，家里的房子就会遭到损坏；如果他上嘴唇盖过下嘴唇，全世界的人都会欢喜”（Shaw，1981）。肖还注意到，在古希腊和古罗马时期，人们认为上帝创造“畸形”儿，要么是为了自己寻开心，要么是在警告、训诫或恐吓人类。肢体不健全的小孩（有时是他们的母亲）常常被作为祭品安抚神明。在代代相传的神话传说中，女巫的脸、怪兽和山精被描绘得或长相怪异或是受到损害。美杜莎在凡人生活中因为过于美丽而遭到了变得奇形怪状的惩罚，她的头发变成了嘶嘶作响的毒蛇。她看起来如此可怕，如果他人见到她会变成石头，而她最后也被自己的映像吓死了（MacLachlan，2004）。
在中世纪，胎儿损伤被认为是女人和兽类结合的结果，这种观念在神话人物上体现为半人马和米诺牛等。对这些长相异常的人的处理直到17世纪才有记录，据肖报告，在1708年，丹麦的弗雷德里克五世规定禁止任何面部发育畸形的人出现在孕妇面前。在历史上，面貌异常也与心理健康问题有关（Shaw，1981）。贺加斯（Hogarth）在18世纪创作的，以精神病院里堕落的病人为主题的油画，就因描绘了不具有吸引力或受到损害的面孔而臭名昭著（Munro，1981）。弗朗西斯·培根（Bacon，1597）做出如下总结，“那些长相怪异的人往往都有很强的复仇心理——他们想让别人也承受这些发生在他们身上的不幸”（Newell，2000b）。那些肢体严重不全的人往往被雇到马戏团去当小丑，满足观众的窥视欲（MacLachlan，2004）。尽管有一些感情细腻的电影、文学作品和媒体形象（例如，《大象人》里的约翰·梅里克，以及作为英雄形象出现、在大火中幸存的马尔维纳斯群岛老兵西蒙·威斯顿），但大体上，多年以来的电影里还是有将可见差异的面容和身体与邪恶恐怖的行为联系在一起的情况，例如《歌剧魅影》《弗莱肯斯坦》《猛鬼街》，以及恐怖片中令人害怕的蛇神和狼人。不幸的是，一些例子不仅限于屏幕了。如在纳粹德国，身体有残疾的人与那些学习障碍者、精神病人一样，他们会和犹太人、吉卜赛人、同性恋者一起被送到死亡集中营。
有吸引力的个体具有优势，而无吸引力或有可见差异者则处于劣势，这种偏见的起因是什么？研究人员有各种各样的解释，包括（认为是）人类本能理念的残余所致；或是与历史上的外在处罚标记有关，如罪犯或奴隶的标记显示了其较低的社会地位。洛夫格罗夫（Lovegrove）注意到，在公元前几百年的印度，通奸的人会被割掉鼻子，以示惩罚（Lovegrove，2002）。此外，这种偏见也有可能是由社会条件和强化过程所致，因为媒体往往对什么是“正常”和“异常”存在偏见。
最近，有人将外貌差异归因为恒星影响、生殖和月经原因或者是在怀孕期间见到了“不吉祥”的动物（例如，孕妇见到野兔会导致婴儿裂唇的说法）。我们可以合理地假设这些思想已经逐渐消失了，但是肖指出即使在现代，在某些非洲部落，如果一个男人有任何的肢体缺陷，他就没有资格竞选酋长。在印度大陆边缘的一些农村地区，那些身体有缺陷婴儿的家庭会一直受到他人的侮辱，除非父母对婴儿进行了指定的净化仪式（Shaw，1981）。施特劳斯（Strauss）指出，在当代巴西，对生来有身体缺陷的婴儿进行残杀或选择性养育的事件时有发生（Strauss，1985）。1981年，在对200名妇女进行的调查中，肖苦苦寻求对先天缺陷的解释。许多被调查者提供了类似医学的解释，其他人则归因为母亲的行为（例如孕妇在怀孕期间过度食用草莓或红萝卜，导致婴儿患有葡萄酒色斑）。尽管这些解释来自民间传说，也只占少数，但人们还是普遍认为可见差异者有不好的人格。
戈夫曼（Goffman）在关于“自尊受损者的管理记录”（1963）的论文中，从社会学角度探讨了可见差异和污名（Stigma）现象。在文章中，他将各种群体，如罪犯、有缺陷者、因种族或宗教信仰不同与他人分离的人都称为被污名的人群。并把污名定义为一种个体“丧失获得社会完全接受的资格”的情形。戈夫曼对普通大众和受歧视个体之间的交互影响特别感兴趣。他认为，当“正常人”（戈夫曼原话）遇见受歧视个体时，他们可能很不舒服，因为受指责的特征太过异常了。由于缺乏指导自己行为的经验，他们会因担心自己的行为不当而变得焦虑，也害怕对方会因为其自身特质而产生防御性和攻击性心理。此外，“正常人”还担心会有其他与污名相关的非可见差异。受污名的个体也会出现不正常行为的危险——因为他们会预测他人可能拒绝自己，从而导致“正常人”考虑受歧视个体人格的其他方面可能与可见差异有关。
戈夫曼的深刻见解在当代关于缺陷影响的研究中得到了进一步发展。桑伯勒（Sambler）和霍普金斯（Hopkins）根据对癫痫病人的研究，最早提出了“感受到的”污名（个体因自己不被社会赞许的特征，从而体验到他人的消极反应）和“实际的”污名（个体因容貌异常而受到外在的拒绝或孤立）这两个概念。桑伯勒和霍普金斯发现，他们调查的人很少能真正辨认出一种拒绝行为，这让他们意识到就算没有实际的拒绝，个体也会产生受污名的恐惧（Sambler和Hopkins，1986）。琼斯和同事将污名分为六个维度，它们可以影响“目标”个体受到污名的程度以及与可见差异相关的程度，即隐蔽性、可见差异等级、与个体交往的破坏性、可见差异的审美品质、可见差异的起源（如果个体认为自己应对可见差异负有责任，感到污名的程度更强）、暴露在受影响的其他人面前时的风险（Jones等，1984）。克利福德（Clifford）认为外表有缺陷的人之所以“非常显眼，并不是因为他们不够漂亮，而是因为他们连个体所能接受的最低标准都没有达到”（1976：6）。脸上有很大一个胎记的特拉斯特（Trust）写道，容貌异常的可见性意味着此人“永远被打上了二等公民的标记”（Trust，1977）。
本能理论会关注这样的思想，即通过代代相传，人类保留了自然选择形成的永久的身体和行为特质。在某些物种中，如果新生儿刚出生就表现出具有某种损伤，其母亲会允许他自然死亡或者是直接将其致死。新生儿一出生就表现出对正常面部特征的偏爱，当遇到异常的东西时，他们本能拒绝的附带成分可能是困惑或不舒服（Bruce和Young，2001）。而容貌异常也可能被“本能”地解释为一种内部的、认知或情绪上的混乱。
注重于强化和社会学习过程的理论强调了与社会规范一致而产生的组内压力。现代社会中，人们通过许多方式对外貌相关标准进行规范和贯彻（包括对出版物、电视和电影中的人物形象），通过给出持续不断的关于我们应该如何着装和表现的信息，提供了强有力的社会比较点（McCabe和Ricciardelli，2003）。广告商除了在电影、电视和杂志中使用身体外貌作为一成不变的人物创造的一部分外，还将外表美丽和令人渴望的生活方式联系在一起，表明了我们的文化图式，即美貌和苗条的外形绝对是成功和幸福所必需的（Tiggemann，2002）。杂志封面、电影以及广告中，大量完美无瑕且极具吸引力的面孔进一步强化和塑造了我们对于美丽、吸引力和正常的文化概念。同时，故事、书籍、电影、卡通和搞笑讽刺漫画中，都将邪恶和恐惧与扭曲的外貌联系在一起。拉姆齐（Rumsey）报告说，他让七岁儿童对有面部缺陷的照片进行故事描写，结果发现这些儿童严重受到搞笑故事台词和流行电视节目的影响，大都反映出消极的偏见和刻板印象（Rumsey，1983）。无论我们对外表缺陷的反应到底是不是天生的，不容置疑的是，媒体的影响使大多数人形成了与外貌相关的刻板印象。
黑格–弗格森（Haig-Ferguson）通过对10个盲人访谈分析，发现媒体和相关社会规范会影响人们对自己外貌的感知。他发现，虽然被试没有直接接触媒体形象，媒体以及其他相关社会和文化理念还是会通过其每日与朋友和家人的沟通影响到他们的自我认知：
你（谈论为什么）男人都想要变成贝克汉姆，而女孩想变成布兰妮和克里斯汀娜。
是啊，仅听他人说，你会知道肥胖是不好的……从人们所用的语言你就知道……还有，在学校里长得胖的学生会受人欺负（Haig-Ferguson，2003）。
盲人被试也非常在意他人对自己的外貌做出的评价，会对他人关于自己外表的反馈做出反应。被试也希望自己“看起来漂亮”，一方面是为了他们的自尊心，另一方面是因为他们觉得自己代表了其他盲人。研究者发现，这些盲人被试对“看起来漂亮”的标准比视力正常的人更低，他们更关注自己能像“正常人”一样，看起来聪慧和整洁。有趣的是，他们也和一些视力正常的人一样，抱怨他人对自己的评价基于自己外貌的某一特定方面，不少被试认为失明影响了他人对自己的评价：“对我来说，最大的外貌问题就是人们会以失明来判断我做事的方式。”
被试也能清楚地谈及他们的理想外形和对衰老的担忧，当然，他们对外表渴望的程度可能与普通人不同。黑格–弗格森发现盲人最重视的方面，是希望自己保持健康，以及身体机能的健全，而不是对皱纹和皮肤松弛的担忧。
他人对可见差异者的刻板评价会对该个体的消极体验产生很坏影响。面临挑战时，很多人承认幸福和美好的生活并非基于外貌，然而，大多数人仍会纵容这种肤浅的意识形态，将美貌和富有吸引力与所有合意的东西联系在一起。心理学家又是如何尝试去研究和了解这些普遍深入的人际过程的呢？
