Esta é a receita oficial do PHPUnit.

Instalamos o PHPUnit em qualquer distro através do PHP Archive (PHAR).

#
baixe a  ferramenta
#
wget https://phar.phpunit.de/phpunit.phar

#
dê permissão de execução
#
chmod +x phpunit.phar

#
mova o arquivo (precisa ser root...
#
mv phpunit.phar /usr/local/bin/phpunit

#... ou usar o sudo)
sudo mv phpunit.phar /usr/local/bin/phpunit

#
teste
#
phpunit --version

Antigamente podíamos instalar através do Pear, mas esse processo não será mais suportado.

Caso você esteja precisando desinstalar sua versão através do Pear utilize o comando abaixo

pear uninstall phpunit/PHPUnit

Fonte