Parafię pw. Miłosierdzia Bożego w Gahundze, w diecezji Ruhengeri, karmelici bosi objęli 1 kwietnia 1986 r. Klasztor i pomieszczenia parafialne, w kształcie czworoboku, zostały wzniesione przez ekonomat diecezji, przy szczególnym zaangażowaniu bpa N. Phocasa, zamordowanego w 1996 r. Z powodu napadu rebeliantów i walk plemiennych misjonarze zostali zmuszeni dwukrotnie do opuszczenia parafii i deportowani do Ugandy (1993, 1994 r.).

Po powrocie, w maju 1995 r. osiedlili się w parafii katedralnej w Ruhengeri, skąd dojeżdżali do Gahungi, do której powrócili na stałe w grudniu 1996 r., obejmując później także obsługę parafii Kampanga. Od początku pobytu w Gahundze systematycznie podejmowano rozbudowę infrastruktury dla działalności parafialnej: powiększono kościół (1987, 2002 r.), wybudowano kilka kaplic na stacjach misyjnych pomieszczenia dla katechumenatu, a także nowe szkoły (2003, 2004, 2006, 2016 r.). Obecnie planuje się budowę sanktuarium Miłosierdzia Bożego. Parafia, wraz z czterema stacjami misyjnymi Gitinda, Nyagwe, Gasiza i Gakoro, liczy około 20 tysięcy wiernych.