Кратко:
1) Открыть фото
2) Увеличить размеры холста на 20 пикселей во все стороны (фото получится по центру)
3) Выделить фото (Ctrl+левый клик по слою)
4) Переключиться во вкладку "Каналы" и создать канал (Альфа 1)
5) Залить внутри белым цветом
6) Фильтр -> Смазывание Гаусса -> 4 (нужный угол по вкусу)
7) CTRL+L, ввести 110 / 1,00 / 138 . Получился объект с закругленными краями.
8) Выберите режим RGB (выше вашего канала). Тем самым выделение будет с углами
9) Меню -> Выделение -> Инвертировать выделение -> Del Готово!
(с) delaf
Визуально посмотреть можно тут