本尊に文殊菩薩を祀り、四月の御縁日に文殊会が営まれるところから、古くから「文殊さん」として親しまれてきた。創建には諸説があるが、天平年間に聖武天皇が平城京の鬼門鎮護のために大般若経を奉納し、伽藍を造営して般若寺と号したと伝えられている。平安時代には千坊を数えるといわれるほどの隆盛を誇ったが、平家の南都攻めの際に焼亡してしまった。鎌倉時代に十三重石塔が良恵上人によって建立されたのを契機として、次々と伽藍が復興された。この石塔は重要文化財にも指定され、昭和四十年の解体修理の時に、塔内から数多くの納入品が発見された。その中の墨書により、応仁二年（一二四○）には塔の五重目を組み上げ、建長五年（一二五三）には最上部を組み、まもなく完成したことが確認された。石塔造立の中心となった石工伊行末は宋の明州の人で、東大寺再建に従事している。東大寺法華堂の石灯籠では権守の称号を持っている。境内には行末の子の行吉が、父の一周忌に当り造立した笠塔婆（重要文化財指定）も伝えられている。
現在は解体修理作業のため見学できない。鎌倉時代中期、西大寺の忍性上人が救病施設として般若寺の北東に開設した。創建当時の建物は永禄十年（一五六七）に兵火により失われている。現在の建物は、江戸時代の寛文年間（一六六一〜）に現在地に再建されたもので、鎌倉時代の様式を良く伝えている。建物は東西約１２８ｍ、南北は西半分が４ｍ、東半分が５ｍと細長いもので、東西が18間に仕切られているので、十八間戸とよばれている。
弘法大師によって開山されたと伝えられるが、明らかではない。また、ここを草庵にしていたとき「いろは仮名」を作ったとも伝えられる。本尊は石の地蔵様で左右に不動明王と聖徳太子が半肉に陽刻されている。本堂は昭和四十二年に火災で焼失したが、昭和四十六年に鎌倉様式に倣い再建された。