W Polsce przedrozbiorowej istniały w Krakowie dwa klasztory karmelitów bosych: Niepokalanego Poczęcia NMP na przedmieściu Wesoła (1605-1787) oraz św. Michała i św. Józefa pod Wawelem (1611-1797). Decyzję o założeniu obecnego klasztoru pw. Niepokalanego Poczęcia NMP podjęło Definitorium Prowincji Austriackiej w roku 1907. W grudniu 1909 r. rozpoczęto w nim życie zakonne. Od 1911 r. klasztor w Krakowie jest siedzibą Kolegium Teologicznego, a w latach 1927-1994 prowadzona przy nim była działalność wydawnicza.

Kościół jest szczególnym ośrodkiem kultu św. Józefa, patrona miasta Krakowa. Od października 1991 r. przy klasztorze istnieje Karmelitański Instytut Duchowości. W latach 1999-2000 wzniesiono dla nie-go nowy budynek. KID jest stowarzyszony z Papieskim Instytutem Duchowości Teresianum w Rzymie. Współpracuje także z Uniwersytetem Papieskim Jana Pawła II w Krakowie.