простейший анти-отладочный прием, распознающий трассировку под некоторыми отладчиками
Главный минус этого приема в том, что его очень легко обойти. Достаточно, например, просто подогнать курсор к команде pushf, сказать отладчику "HERE" (т. е. выполняй программу до этого места без трассировки), затем подогнать курсор к jnz и сказать "HERE" еще раз. Таким образом, защищенный фрагмент будет исполняться в обычным режиме и присутствие отладчика окажется незамеченным, поэтому, многие программисты предпочитают сохранять регистр флагов в одном месте программы, а проверять его в другом. Начинающих хакеров это сбивает с толку, но опытных так не проведешь. На конструкцию pushf/pop reg/xxx reg,100h у них уже давно выработался безусловный рефлекс, к тому же взломщику ничего не стоит заменить and eax,100h на and eax,0h и тогда программа навсегда утратит способность распознавать отладчик. Можно (и нужно), конечно, добавить проверку собственной целостности, но только навряд ли она надолго остановит хакера.
А вот слегка модифицированный вариант той же самой защиты, который распознает присутствие отладчика независимо от того исполняется ли программа в пошаговом режиме или нет. Алгоритм работы в общих чертах выглядит так: мы самостоятельно взводим флаг трассировки и выполняем следующую команду. Процессор послушно генерирует исключение, которые мы перехватываем предварительно установленным SEH-обработчиком, передающим управление нашему коду. Но при наличии отладчика, исключение "поглощается" и SEH-обработчик уже не получает управления!
; устанавливаем новый обработчик структурных исключений
xor eax,eax ; обнуляем регистр eax
push offset SEH_handler ; кладем в стек указатель на новый обработчик
push dword ptr fs:[eax] ; кладем в стек указатель на старый обработчик
mov fs:[eax],esp ; регистрируем новый SEH-обработчик
; взводим флаг трассировки
pushf ; заталкиваем в стек регистр флагов
pop eax ; выталкиваем его содержимое в регистр eax
or ah, 1 ; взводим флаг TF
push eax ; кладем eax
в стек
popf ; выталкиваем его содержимое в регистр флагов
; теперь флаг трассировки взведен!
jmp under_debugger ; после выполнения этой команды генерируется
; исключение и если отладчик не установлен,
; его перехватывает SEH-обработчик, который
; корректирует EIP и эта команда не выполняется
; под отладчиком происходит переход на ветку
; under_debugger
//
... ; основной код программы
//
; SEH-обработчик. может быть расположен в любом месте
; (лучше расположить его подальше от защитного кода,
; чтобы он не так бросался в глаза)
SEH_handler:
mov esi, [esp+0ch] ; указатель на контекст регистров
assume esi: PTR CONTEXT
mov [esi].regEip, offset continue
; откуда продолжать выполнение
; в отсутствии отладчика
xor eax, eax
ret ; выход из SEH-обработчика
continue:
; // отсюда будет продолжено управление, если отладчик не установлен
