"Железничар" основан 15 сентября 1921 года по инициативе Димитрия Димитриевича. Вместе с Людвигом Лепле и Степаном Каталиничем накапливают деньги для того, чтобы купить мяч и форму, а затем и для регистрации клуба.

Первая встреча была сыграна с САШКом. На игре присутствовало 500 болельщиков, а САШК выиграл - 5:1. "Железничар" на следующий день сыграл еще одну товарищескую встречу с "Сараевским спортивным клубом" и одержал первую победу со счетом 2:1.

Первая официальная игра "Железничара" была сыграна 2 ноября 1921 года против "Трое". Результат был 1:1. Первую победу в официальных матчах "Железничар" одержал в игре против "Баракохбы". Результат был 7:0. В сезоне-1925/26 "Железничар" вошел в первый разряд чемпионата Сараево. С четырьмя победами и 18 забитыми мячами "Железничар" добился желанной цели.

С началом второй мировой войны работа клуба остановилась. После окончания войны клуб выступает в первой лиге Боснии и Герцеговины. "Железничар" выигрывает лигу и получает право играть в первой лиге Югославии. Между тем, городская власть формирует новый клуб - "Торпедо", куда уходят лучшие игроки "Железничара". "Железничар" выбывает из первой лиги, а в сезоне-1953/54 возвращается в первую лигу Югославии.

"Железничар" в сезоне-1971/72 выиграл чемпионат Югославии. Команда вела борьбу с "Црвеной Звездой". "Железничар" набрал 59 очков, а клуб из Белграда - 49. "Железничар" потерпел четыре поражения, а девять раз сыграл вничью. Выиграл в 21 встрече. Была одержана крупная победа над словенским "Марибором" - 8:0. лучшим бомбардиром "Железничара" в том сезоне был Йосип Букал с 14 забитыми мячами, Божо Янкович забил 13 голов, а Йосип Каталински - 12.

Как и в домашних соревнованиях, "Железничар" имел успех и в европейских Кубках. Первое участие "Железничара" в европейских соревнованиях было в сезоне-1971/72. "Железничар" выступил в Кубке УЕФА. В первом раунде был обыгран бельгийский "Брюгге" с общим счетом 4:3. Далее были обыграны "Болонья" и шотландский "Сент-Джонстон". В 1/4 финала "Железничар" проиграл по пенальти венгерскому "Ференцварошу". Лучшими бомбардирами "Железничара" в этом соревновании были Йосип Букал с семи голами и Эдин Спречо с пяти голами.

"Железничар" играл и в Кубке чемпионов. В сезоне-1972/73 "Железничар" играл против английской команды "Дерби Каунти" и проиграл обе встречи. В гостях - 0:2, а дома - 1:2.