安置祖师像的堂宇称祖师堂、祖堂、祖师殿，位于禅林大殿西侧。此种布局以禅宗寺院最常见。但是其他宗派的寺院也往往仿效其制。

佛教非常重视法脉传承，尤其在宗法社会背景下的中国佛教，各大宗派皆甚重视其列祖的传承。如禅宗立西天二十八祖、东土六祖。天台宗立东土九祖。华严宗立五祖。真言宗立八祖。净土宗立十三祖等等。一方面以表本宗本派的合法性，起正名之作用。另外以感恩祖师为本宗本派作出的特殊贡献，以此作为纪念。

禅宗寺院何时设立祖师堂，已很难确考。不过，六祖慧能于唐先天二年（713）于广东韶州曹溪宝林寺圆寂，其弟子建“肉身殿”，不久又建“六祖殿”。此殿可看作禅宗祖师堂之设的开端。其后，禅宗分派竞成，各据其地传法，因此，祖师堂内供像不一，往往以其开山之祖为主尊设立祖师堂。至宋代杨岐派白云守端禅师改革旧制，始形成较为统一的格局。《白云守端和尚禅录·祖堂纲纪序》说：“吾道盛于此土，初祖菩提达摩之纲焉，此实天下之共知。而奈何天下祖堂中，各以开山传次者为其祖，殊不思乃宗乃祖，所传所持之最者乎？呜呼！教来五百年后，达摩始来，向之诸家之贤者，岂不知性即乎圣？何为竞自以性以圣之泥乎？乃须少林之后，犹弹指顷，不假文字语默，有无释然，亡其所待，而自得还其本。又古之岩居穴处者，但以法为胜为味，殊不虑今日其间者骄，独大智禅师虑之，而廓以禅林之度，由是资之，而少林之风至今蔼然于天下。吾欲天下祖堂中，以达磨、大智正其位，以开山传次者陪之，贵来者尊其始而归其大，岂不然乎？”

《百丈清规》根据白云守端的说法，认为达摩与百丈为禅宗作出特殊的贡献，不能数典忘祖，说：“各祀其祖，重其形生之始也。形生，始于爱，然形有时而化，爱有时而尽。惟性之灵然不昧者，不恃生而存，不偕亡而亡，故佛教人必明性。而后之学者，复胶于文言，不得其指归，犹医之善方书而废药石，何益哉！及吾祖达磨至，示以直指之道，而人始廓然。见夫自性之妙，不求文字，不资语默，而得于謦欬声色之外，则吾徒之传祖道、嗣祖位者，如火之薪，水之器，无古今之间、毫发之异，不犹重于形生之始乎？后百丈大智禅师，又作清规以居吾徒，而禅林于是乎始。”达摩是此土传倡禅宗宗旨的开始，而百丈建立清规，为禅宗健康发展的提供了制度保障。白云守端的主张，被惠洪等人采用，并将其具体化。惠洪在《林间录》中说：“天下丛林之兴，大智禅师力也。祖堂当设达摩初祖之像于其中，大智禅师像西向，开山尊宿像东向，得其宜也。不当止设开山尊宿，而略其祖宗耳。”此后，天下禅寺风起响应，祖师堂之规制始为统一。

现今禅寺之祖师堂一般不再刻意强调开山之祖，而以达摩、慧能为禅道之祖，又因“马祖建丛林，百丈立清规”，故堂中正中是梁代来华的禅宗初祖菩提达摩禅师像，左方是达摩六传弟子六祖慧能禅师像，右方是慧能的三传弟子建立清规的百丈怀海禅师像。但中国佛教不只禅宗一家，各宗祖师“演教扶律，原原本本之恩，亦不可忘也”。