索隐鼻祖的支持者，也各有分歧。如除了以寶玉影射成德，還有影射揆敘之說，平步青 (1832-1896) 认为：“以賈政影明相；賈珠早死，影容若；又以賈敬丙辰進士，故亂其辭；以寳玉影揆敘；皆瞀妄不足詰。”。寳玉成了成德之弟揆敘。
而乾隆明珠家说的怀疑和反对者更是大有人在。
三、怀疑及反对者
1、 怀疑者谢锡勋
海阳人，光绪己丑举人，官将乐知县谢锡勋，字安臣，著有《小草堂诗集》。在其《红楼梦分咏绝句题词》中也说：“裘马翩翩浊世姿，纳兰情事半传疑。”(参见《红楼梦卷》第403页)。
谢锡勋虽然认为流传有纳兰与《红楼梦》关系的说法，但事情却值得怀疑。
怀疑者外，有反对者。
2.反对者
清乾隆十九年(1754)进士周春，在其乾隆五十九年的著作里，就明确提出了反对看法。周春不仅认为石兄与明珠家无关，而且在其《阅红楼梦随笔》中，依据自己的见识，提出了《红楼梦》是 “金陵张侯家事也 ”的独到看法，并认为《红楼梦》中隐藏的拆字等手法。
“相传此书为纳兰太傅而作。余细观之，乃知非纳兰太傅，而序金陵张侯家事也。
忆少时见《爵帙便览》，江宁有一等侯张谦，上元县人。癸亥、甲子间，余读书家塾，听父老谈张侯事，虽不能尽记，约略与此书相符，然犹不敢臆断。再证以《曝书亭集》、《池北偶谈》、《江南通志》、《随园诗话》、《张侯行述》诸书，遂决其无疑义矣。案靖逆襄壮侯勇长子恪定侯云翼，幼子宁国府知府云翰，此宁国、荣国之名所由起也。襄壮祖籍辽左，父通，流寓汉中之洋县，既贵，迁于长安，恪定开阃云间，复移家金陵，遂占籍焉。其曰代善者，即恪定之子宗仁也，由孝廉官中翰，袭侯十年，结客好施，废家资百万而卒。其曰史太君者，即宗仁妻高氏也，建昌太守琦女，能诗，有《红雪轩集》，宗仁在时，预埋三十万于后园，交其子谦，方得袭爵。其曰林如海者，即曹雪芹之父楝亭也。楝亭名寅，字子清，号荔轩，满洲人，官江宁织造，四任巡盐。曹则何以廋词曰林?盖曹本作，与林并为双木。作者于张字曰挂弓，显而易见；于林字曰双木，隐而难知也。嗟呼!贾假甄真，镜花水月，本不必求其人以实之，但此书以双玉为关键，若不溯二姓之源流，又焉知作者之命意乎?故特详书之，庶使将来阅《红楼梦》者有所考信云。”（周春：《阅红楼梦随笔》，参见《红楼梦卷》第66至第67页。）
周春将张侯家与《红楼梦》的有关人物对应研究，并率先使用了拆字法等。
周春的张侯家事说，是来自自己对张家相关文献及口碑的了解，及与《红楼梦》对照后的结论，并非由直接历史线索而来，因此此说后来基本被淘汰，直到近年才有个别学者重新研究、改造，试图努力振兴这一说法。
但正如其“庶使将来阅《红楼梦》者有所考信云”那样，其所提到的《红楼梦》与曹寅家事有关系、使用的拆字法等方法，确实被学人一直继承了下来。因此周春被学人称为索隐派的又一鼻祖。
周春(1729—1815)，字芚兮，号松霭，晚号黍谷居士，又号内乐村叟，海宁盐官人。清乾隆十九年(1754)进士，后授广西岑溪知县，后绝意仕途，专心著述。有《十三经音略》、《杜诗双声叠韵谱话》、《小学余论》，合称《音学三书》。经学有《古文尚书》、《尔雅补注》、《续经籍题跋》等。史学有《西夏书》、《代北姓谱》、《辽金元姓谱》、《辽诗话》等。地方掌故有《海昌胜览》、《海昌拾遗》、《海潮说》。其他还有《松霭吟稿》、《松霭诗话》、《选材录》、《类说》、《恶昙奥论》、《佛尔雅》等。早在乾隆五十九年(1794)，就写出了我国第一部红学专著《阅〈红楼梦〉随笔》。
与周春一样，全面否定乾隆明珠家说的还见有另一位，他就是李慈铭。
李慈铭(1830～1894），这位晚清官员，山西道监察御史，著名文史学家。日记三十余年不断，读书心得无不收录。学识渊博，承乾嘉汉学之余绪，治经学、史学，蔚然可观，被称为“旧文学的殿军”。他也认为明珠家事说“按之事迹，皆不相合”（参见《红楼梦卷》第374页）
其他如：
晚清著名的经学家俞樾著《茶香室三钞》有 ：“世传《红楼梦》 小说为演说明珠家事，今观《啸亭杂录》 所载，则明珠之子纳兰性德，至成安籍没时，几及百年矣，于事固不合也。《杂录》又云：‘纳兰侍卫宁秀，为明珠太傅曾孙，生时有毙数十茎，罗罗颐下，年弱冠，颜貌苍老，宛如四五十许人，未三十，而即下世，其家因之日替，亦一异也。’小说所称生有异征者，岂即斯人欤。”。明珠后人承安（成安）於乾隆五十五年(1790)被革職抄家，距成德過世已逾百年，所以俞樾認為小說中的抄家情節與明珠家發生之事不对应。
晚清孙静庵，批评乾隆等明珠说的学人，看法片面。在他的《栖霞阁野乘》卷上 “《红楼梦》包罗顺康两朝八十年之历史” 中写到：
“《红楼梦》一书，说者极多，要无能窥其宏旨者。吾疑此书所隐，必系国朝第一大事，而非徒记载私家故实，谓必明珠家事者，此一孔之见耳。”。
由于石兄神妙莫测，反对者之外，学人提出了更多人选，与乾隆帝竞争。
舒坤 (1772-1845) 評袁枚(1716-1797)《隨園詩話》中，即稱：“乾隆五十五、六年（1790、1791）間，見有鈔本《紅樓夢》一書，或云指明珠家，或云指傅恒家。書中內有皇后，外有王妃，則指忠勇公（即傅恒）家為近是。”。（蒋瑞藻《小说考证》卷七）
学人研究：“爱新觉罗·舒坤，出生于乾隆三十七年（1772年），是闽浙总督爱新觉罗·伍拉纳的长子。伍拉纳因为贪暴为魁伦将军奏闻伏法。伍拉纳与和珅原来有亲戚关系，伍拉纳被解解入京时，和珅故意放慢他的进京步伐以缓解乾隆皇帝的怒气，企图救伍拉纳但是已经来不及了。结果，爱新觉罗·舒坤也被连累发配新疆伊犁戍边！舒坤本人因为不知道这里面的曲折过程，而迁怒于所有与和珅有关系的大臣。”。
《谭瀛室笔记》一书说：“《红楼》一书，考之清乾嘉时人记载，均言刺某相国家亊。但所谓某相国者，他书均指明珠，护梅氏独以为刺和珅之家庭，言之凿凿，似亦颇有佐证者。”；《谭瀛室笔记》更深入一步：“和珅秉政时，内宠甚多，自妻以下，内嬖如夫人者二十四人，即《红楼梦》所指正副十二钗是也。”。
显示当时，对于石兄身份，已经分出多种说法了。但依旧不离皇家左右。
有的说傅恒家，有的说和坤家，和珅若知道，当鼻子气歪。倘若是俺自己的事情，还需要俺去求教圣主乾隆吗？
不过，这种些说法也是昙花一现。直至现在和珅的后人，努力证明和珅就是作者。和珅若真实是作者，或者红楼梦写的是他自个家的事情，敢去拿九族性命测试乾隆皇帝的智商和情商吗？
有怀疑和反对，便会有更多新的学说提出。
后来的学人把石兄便往前推，推到了乾隆帝的曾祖。如王梦阮、沈瓶庵《红楼梦索隐》中主张，贾宝玉即清世祖，其事系清世祖与董鄂妃故事。
另一方面，有学人往皇宫外推。
满洲玉研农、梁恭辰，不仅认为石兄与明珠家无关，而且提出了红楼梦根本不可能是满人所写，因此石兄也根本就不是满人。
嘉庆生人梁恭辰：“《红楼梦》一书，诲淫之甚者也。乾隆五十年以后，其书始出，相传为演说故相明珠家事。以宝玉隐明珠之名，以甄（真）宝玉贾（假）宝玉乱其绪，以开卷之秦氏为入情之始，以卷终之小青为点睛之笔。摹写柔情，婉娈万状，启人淫窦，导人邪机。自是而有《续红楼梦》、《后红楼梦》、《红楼后梦》、《红楼重梦》、《红楼复梦》、《红楼再梦》、《红楼幻梦》、《红楼圆梦》诸刻，曼衍支离，不可究诘。评者尚嫌其手笔远逊原书，而不知原书实为厉阶，诸刻特衍，诲淫之谬种，其弊一也。满洲玉研农先生（麟），家大人座主也，尝语家大人曰：“《红楼梦》一书，我满洲无识者流每以为奇宝，往往向人夸耀，以为助我铺张，甚至串成戏出，演作弹词，观者为之感叹欷嘘，声泪俱下。谓此曾经我所在场目击者，其实毫无影响，聊以自欺欺人。不值我在旁齿冷也。其稍有识者，无不以此书为诬蔑我满人，可耻可恨。若果尤而效之，岂但《书》所云骄奢淫佚将由恶终者哉。我做安徽学政时，曾经出示严禁，而力量不能及远，徒唤奈何。有一庠士颇擅才笔，私撰《红楼梦节要》一书，已付书坊剞劂，经我访出，曾褫其衿，焚其板，一时观听颇为肃然。惜他处无有仿而行之者。”那绎堂先生亦极言：“《红楼梦》一书为邪说诐行之尤，无非糟蹋旗人，实堪痛恨。我拟奏请通行禁绝，又恐立言不能得体，是以隐忍未行。”则与我有同心矣。此书全部中无一人是真的，惟属笔之曹雪芹实有其人，然以老贡生槁死牖下，徒抱伯道之嗟。身后萧条，更无人稍为矜恤。则未必非编造淫书之显报矣。（梁恭辰著《北东园笔录》卷四，同治五年刊本，参见《红楼梦卷》第366页。
于是，嘉道时期有个别官员，在其辖区，开始禁书《红楼梦》。许多学人不分时间动辄就推说，《红楼梦》在清朝是禁书，实在小瞧了石兄的能力！
梁恭辰（1814年－?），福建福州人，清朝文学家、楹联学家，著名文人梁章钜的三子，曾任温州知府等官，著有《劝戒四录》、《池上草堂笔记》、《北东堂笔录》（其实三者为同一本书）等笔记体小说，和《楹联四话》、《巧对续录》等书，编入其父所著的《楹联丛话全编》中。
玉麟（1766—1833）哈达纳喇氏，字子振，满洲正黄旗人。乾隆六十年进士。一直为高官。
回顾历史，会发现，因为索隐鼻祖乾隆帝开创的学说，不是考证，而是判断而来的。因此，越往后，关于石兄的说法越多，逐步走出了皇家圈子，在满族之外寻、在反清人士中寻找，在民间人士中寻找。
