Od najmłodszych lat w rodzinnym domu obserwował działania swego ojca uczestnika powstania styczniowego i współzałożyciela Politechniki Warszawskiej. Chłopiec widział, jak wiele można zrobić, angażując swe siły na rzecz Polski i wychowania młodzieży. Sam tego doświadczał, kończąc elitarne gimnazjum Rontalera, wówczas najlepszą szkołę w Warszawie. Młodemu Kazimierzowi wpojono, że nie liczy się samo wykształcenie, ale człowiek musi dostrzegać też wokół siebie innych ludzi, często ubogich i w potrzebie.

W rodzinie Gostyńskich niczego nie brakowało. Majątek rodziców pozwalał na zamożne życie, a jednak zarówno ojciec, jak i matka nigdy nie wywyższali się z tego powodu. Dorastając w takiej atmosferze, Kazimierz zdecydował się wstąpić do seminarium w Lublinie. Był rok 1904 i od tego czasu, z krótką przerwą na studia w Insbucku, jego życie związane było z Lublinem. Najpierw został skierowany do pracy w kościele św. Piotra, który był w opłakanym stanie, jednak zaradność księdza i jego ciężka praca sprawiły, że udało się wyremontować świątynię. Równocześnie pracował w szkole, ucząc niemieckiego i łaciny w gimnazjum im. Staszica. Spotykając się na co dzień z uczniami, rozmawiając z nimi i poznając ich problemy, utwierdzał się w przekonaniu, że potrzebne są dobre szkoły, które wychowanie młodzieży będą opierać na zasadach Ewangelii.

Chodził mu po głowie pomysł powołania takiej placówki. Do tego jednak potrzebne były pieniądze. Nie wahał się sprzedać rodzinnego majątku, by je uzyskać. W 1915 roku, wspólnie z nauczycielami myślącymi podobnie, powołał Zrzeszenie Nauczycieli, które stało się założycielem Szkoły Realnej im. Hetmana Jana Zamoyskiego w Lublinie. Z prywatnych pieniędzy zakupił okazały gmach przy ulicy Ogrodowej, gdzie do dziś funkcjonuje szkoła zwana potocznie „Zamojem”. Ks. Gostyński był przez 18 lat jej dyrektorem, również po upaństwowieniu placówki w 1921 roku. W tym samym roku został prezesem Polskiej Macierzy Szkolnej. Tutaj ujawnił się w pełni jego talent pedagogiczny i pasja społecznika. Gimnazjum stało się renomowaną szkołą, miało piękny gmach, orkiestrę, drużyną harcerską, system pomocy dla uczniów z uboższych rodzin. W niektóre święta na terenie szkoły odprawiano Mszę św. Szkołę odwiedził też wizytator apostolski Achilles Ratti, późniejszy papież Pius XI oraz bp Władysław Goral.

Wychowankowie wspominają ks. Gostyńskiego jako człowieka surowego, o żelaznej dyscyplinie i tradycyjnych przekonaniach, a zarazem rozmiłowanego w młodzieży i niezwykle serdecznego.

– Wiedzieliśmy, że mimo jego pozornej surowości, zawsze możemy na niego liczyć. Gdy ktoś był w potrzebie, dyrektor jakimiś sobie znanymi sposobami czy wiedziony przeczuciem, dowiadywał się o tym i znajdywał sposób, by pomóc. Wiedzieliśmy, że ma serce oddane nam, młodym. Przy indywidualnej rozmowie biło od niego ciepło i szczere zainteresowanie naszymi sprawami – wspominał po latach Aleksander Wojno uczeń ks. Gostyńskiego.

W 1933 roku lubelski kurator odebrał mu funkcję dyrektora ukochanej szkoły. Ta decyzja w powszechnym odczuciu krzywdząca, miała tło polityczne. Wówczas bp Fulman powierzył mu kierownictwo Gimnazjum Biskupiego, z czym wiązała się budowa okazałego gmachu. Po dwóch latach, na własną prośbę, został z tej funkcji zwolniony i objął rektorat kościoła NMP Zwycięskiej. Tuta wokół niego gromadziły się środowiska inteligenckie i młodzież, która wciąż za wielki autorytet uważała swego byłego dyrektora.

Wybuch wojny i masowe aresztowania przez Niemców polskiej inteligencji nie przestraszyły ks. Gostyńskiego. 11 listopada w Święto Niepodległości odprawił Mszę św. za ojczyznę i wygłosił porywające kazanie. Przestrzegano go, by się ukrył, on jednak odpowiadał: skoro moi bracia cierpią, ja nie będę się ukrywał. Aresztowano go 11 stycznia 1940 roku. Przebywał najpierw na zamku lubelskim, skąd został przewieziony do obozu  w Sachsenhausen, a stamtąd do Dachau. Od początku poddawany był okropnym torturom. Naciągano mu uszy, szydząc z posługi spowiednika, zmuszano do dźwigania ciężkich worków, bito. To nadwyrężyło jego zdrowie. Jako niezdolny do pracy został skazany na śmierć. Ostatni widział ks. Gostyńskiego Roman Fuglewicz, który tak wspomina tamto spotkanie: „Pewnego wieczora w kwietniu 1942 roku zawiadomiono mnie, że ktoś czeka na mnie przed blokiem obozowym nr 18. Był to ksiądz Gostyński. Ucieszyło mnie to spotkanie. Rozpytywał o rodzinę i korespondencję. W końcu powiedział, że przyszedł się pożegnać, gdyż jutro wyjeżdża z transportem „inwalidów”. Wszyscy wiedzieli, że to podróż do komory gazowej. Widząc moje przerażenie, powiedział „wolałbym umrzeć w kraju, ale jestem człowiekiem wierzącym i skoro Bóg tak chce, niech się dzieje Jego wola”. Uścisnął mnie i odszedł na zawsze”.