室町時代において三河で勢力を伸ばした松平氏（徳川氏）に仕えるようになった。戦国時代では鳥居伊賀忠吉と彦右衛門元忠の父子が著名である。

忠吉は今川氏の傘下において、主のない岡崎城で松平党を崩壊させずに保ち続けた。駿府で身柄を預けられている幼主・竹千代には、子息・元忠を付随させた。

その元忠は、家康より3歳年長ということもあり、家康の生涯にあった大小あらゆる合戦に参戦した。その集大成は関ヶ原の戦いの前哨戦に当たる伏見城の戦いである。800人の兵で石田三成率いる数万の大軍と渡り合い、深溝松平家忠らと供に戦死した元忠は、のちに「三河武士の鑑」と称えられた。

徳川政権下では、元忠の子・左京亮忠政、土佐守成次などが大名、旗本となっている。鳥居宗家（左京亮家）は最大で24万石の大身となるが、元忠の孫・左京亮忠恒の代で無嗣断絶となった。しかし、元忠の功績に鑑みた公儀の計らいにより、忠恒の異母弟・主膳正忠春が減石ではあったが、改めて大名に認められた。

幕末には、庶流の旗本家から鳥居耀蔵（大給松平氏出身、林述斎の子）が出て、目付や南町奉行を務めたが、天保の改革での厳しい取り締まりや捜査手法などから名の耀蔵（ようぞう）から「よう」・官位の甲斐守（かいのかみ）から「かい」を取り「ようかい（妖怪）」と蔑まれた。

現在、鳥居宗家は壬生に存在する。また、下野国であった栃木県内に散らばる多くの鳥居姓は、この鳥居氏の末裔たちである。愛知県岡崎市には鳥居氏発祥地の碑がある。

壬生藩鳥居氏の側近には斎藤氏・森田氏・井山氏・佐々木氏の4氏がいた。その4氏の中でも、森田氏は鳥居家武芸教授指南役方、井山氏・佐々木氏は壬生城護衛方、斎藤氏は鳥居家台所役を預かる忠実な部下だったとの話がある。