Parafia w Rybitwach istniała już w 1326 r. Uposażenie stanowiły dziesięcina, pola uprawne, łąki i dochód z 2 karczm. Na skutek przejścia właścicieli Rybitw, Ossolińskich, na kalwinizm, był tu od końca XVI w. silny ośrodek protestancki. Zbór kalwiński zaczął funkcjonować w 1637 r. Do końca XIX w. istniał przy parafii szpital dla ubogich. W latach 1897-1917 siedziba parafii znajdowała się przy kościele pobernardyńskim w Józefowie. Na mocy dekretu biskupa lubelskiego Stefana Wyszyńskiego z 3 listopada 1946 r. siedzibę parafii na stałe przeniesiono do Józefowa. Ponowna erekcja parafii pw. Wszystkich Świętych nastąpiła 15 września 1975 r. na mocy dekretu bp. Bolesława Pylaka.