Od najmłodszych lat w rodzinnym domu obserwował działania swego ojca uczestnika powstania styczniowego i współzałożyciela Politechniki Warszawskiej. Chłopiec widział, jak wiele można zrobić, angażując swe siły na rzecz Polski i wychowania młodzieży. Sam tego doświadczał, kończąc elitarne gimnazjum Rontalera, wówczas najlepszą szkołę w Warszawie. Młodemu Kazimierzowi wpojono, że nie liczy się samo wykształcenie, ale człowiek musi dostrzegać też wokół siebie innych ludzi, często ubogich i w potrzebie.

W rodzinie Gostyńskich niczego nie brakowało. Majątek rodziców pozwalał na zamożne życie, a jednak zarówno ojciec, jak i matka nigdy nie wywyższali się z tego powodu. Dorastając w takiej atmosferze, Kazimierz zdecydował się wstąpić do seminarium w Lublinie. Był rok 1904 i od tego czasu, z krótką przerwą na studia w Insbucku, jego życie związane było z Lublinem. Najpierw został skierowany do pracy w kościele św. Piotra, który był w opłakanym stanie, jednak zaradność księdza i jego ciężka praca sprawiły, że udało się wyremontować świątynię. Równocześnie pracował w szkole, ucząc niemieckiego i łaciny w gimnazjum im. Staszica. Spotykając się na co dzień z uczniami, rozmawiając z nimi i poznając ich problemy, utwierdzał się w przekonaniu, że potrzebne są dobre szkoły, które wychowanie młodzieży będą opierać na zasadach Ewangelii.

Chodził mu po głowie pomysł powołania takiej placówki. Do tego jednak potrzebne były pieniądze. Nie wahał się sprzedać rodzinnego majątku, by je uzyskać. W 1915 roku, wspólnie z nauczycielami myślącymi podobnie, powołał Zrzeszenie Nauczycieli, które stało się założycielem Szkoły Realnej im. Hetmana Jana Zamoyskiego w Lublinie. Z prywatnych pieniędzy zakupił okazały gmach przy ulicy Ogrodowej, gdzie do dziś funkcjonuje szkoła zwana potocznie „Zamojem”. Ks. Gostyński był przez 18 lat jej dyrektorem, również po upaństwowieniu placówki w 1921 roku. W tym samym roku został prezesem Polskiej Macierzy Szkolnej. Tutaj ujawnił się w pełni jego talent pedagogiczny i pasja społecznika. Gimnazjum stało się renomowaną szkołą, miało piękny gmach, orkiestrę, drużyną harcerską, system pomocy dla uczniów z uboższych rodzin. W niektóre święta na terenie szkoły odprawiano Mszę św. Szkołę odwiedził też wizytator apostolski Achilles Ratti, późniejszy papież Pius XI oraz bp Władysław Goral.