Nikt dokładnie nie wie, kiedy pojawił się pierwszy. Litwini opowiadają między sobą, że mogło to być nawet już w XIV wieku, jednak pierwsze zapiski o Górze Krzyży pochodzą dopiero z końca XVII wieku. Około 1800 roku miało ich być tutaj koło trzech tysięcy. Dziś jest ponad 100 tysięcy, ba, niektóre media szacują, że nawet blisko 200 tysięcy.