Yumbu Lhakhang está localizado na montanha Tashi, a cerca de 14 km de Tsedang. O templo recebeu o seu nome da Montanha  Tashi que se assemelha a uma gazela, “Yumbu”. 

A data exacta da construção de Yumbu Lhakhang é desconhecida. Fontes históricas indicam que foi construída no século II pelo primeiro rei tibetano Nyatri Tsenpo. Contudo, algumas pesquisas mostram que a base de Yumbu Lhakhang pode ser ainda mais antiga. Originalmente, tinha paredes muito espessas e servia como fortaleza.

De acordo com as lendas, as primeiras escrituras budistas caíram no telhado de Yumbu Lhakhang, no século V.  Estes textos continham cerca de 400 escrituras. No entanto, ninguém os conseguiu compreender até ao tempo do Rei Songtsen Gampo.

No século VII, o Rei Songtsen Gampo mudou a capital do Tibete para Lhasa, e Yumbulagang foi convertido num mosteiro.