В живописной местности, где ныне возвышается Скит Святого Андрея, уже в первые годы святогорского монашества появились иноческие обители. Так, в келии, расположенной немного выше Скита, духовный родоначальник всех святогорцев преподобный Афанасий, положил начало своей афонской монашеской жизни.  Там же  существовала и упоминаемая с 10-го века обитель «Ксистры».

Известная нам история сего места начинается с прибытием сюда в середине 17-го века Афанасия Пателария.

Святитель Афанасий Третий патриарх Константинопольский рано удалился с патриаршего престола по причине волнений и бедствий того времени. Будучи в сане митрополита Солунского и часто посещая Святую Гору, он приобрёл здесь древнюю монидрию (обитель) и построил на её месте келлию с храмом в честь Святого Антония, надеясь провести в ней остаток своей жизни. Однако окончить свой земной путь ему суждено было в России, где он и почил в Лубенском Преображенском монастыре в 1654 году. Его мощи были обретены нетленными,  в сидячем положении,  как он и был погребён. С тех пор он известен в России как Св. Афанасий Лубенский Сидящий, патриарх Константинопольский.

С того времени келлия, а в последствии и воздвигнутый Скит, торжественно празднует память преподобного Антония Великого (17 января ст.ст).

 Престольный праздник в честь Святого апостола Андрея Первозванного (30 ноября ст.ст) добавился позже. В 1768 году другой бывший Вселенский патриарх Серафим Второй построил на месте старой келлии новую, посвятив её Св.Антонию и Св. Андрею.В настоящее время от келлии сохранился только храм, который находится напротив Андреевского собора.

В 1841 году эту келлию приобрели от монастыря Ватопеда, которому принадлежала она и до сих пор подчиняется Скит, двое русских монахов Виссарион и Варсанофий. В 1849 году по их ходатайству, согласно грамоте патриархи Константинопольского Анфима , келлия была преобразована в общежительный Скит, первым настоятелем которого стал иеромонах Виссарион.

С этого момента началось быстрое увеличение численности братии и постройка новых зданий. В центре новосозданного Скита был воздвигнут Величественный храм в честь Св.Андрея ( заложен в 1867 году и освящён в 1900), в котором хранится чудесная благоухающая лобная кость Апостола.

Недолго продолжался период расцвета. Первая Мировая война и революция в России привели к тяжёлым последствиям. Было прервано сообщение Скита с Россией. Из Советского Союза  приход новых послушников был невозможен.

Количество братии быстро уменьшалось .В 1958 году пожар разрушил западную часть зданий скита. В 1971 году почил последний монах старой братии отец Сампсон.

В 1992 году в Скиту поселилась грекоязычная братия.

 Сейчас Скит считается собственностью Греции, т.к по законам Афона со смертью последнего монаха монастырь отходит в собственность того государства, на чьей земле расположен. Но до сих пор там чувствуется русский дух – в  старославянских письменах, древних иконах, коврах с царскими гербами. Кто там побывает, несомненно почувствует это.