幕末に鉱床が発見され、幕府も注目した鉄山でした。明治初期（明治７（1874）年頃）には洋式高炉による製鉄が始まり、日本でもっとも古い洋式製鉄所の１つに数えられています。
この鉱床は良質な磁鉄鉱であったため、スウェーデンの技師も招かれ、焙焼炉と熱風送風機を備える特徴を持っていました。中小坂で培われた製鉄技術はその後の日本の製鉄業に大きな功績を残しました。
民間資本で建設された製鉄所は一時的に政府所有となり、日本の鉄鋼業を発展させた重要な3つの製鉄所の内の1つでした。その後、鉱山は民営化されました。
中小坂鉄山の成功は西洋人の助けと西洋式製鉄に必要な木炭や石灰など重要な原材料が近隣で容易に手に入れることができたことなどが挙げられます。その後、熱源が木炭から石炭（コークス）に代わっていったことから製鉄業は臨海地域に移っていき、閉山を余儀なくされました。
第1次世界大戦後、日本鋼管が土地を買収していたことから、鉄不足が続いた太平洋戦争前には鉄鉱石のみ、神奈川県川崎市の日本鋼管に運ばれていた記録が残り、終戦とともに閉山されました。昭和36（1961）年、深鉱調査は行われましたが再開することはありませんでした。
現在、史跡内では、坑道やトロッコ道、焙焼炉や煙突の一部などのレンガ積み遺構をみることができます。
