ст. 78 ЗК позволяет гражданам, вести личные подсобные хозяйства, садоводство, животноводство, огородничество на землях сельхозназначения;
Соответственно жилой дом Вы построить сможете.
Проблемы могут возникать с размерами ежемесячных сборов, размерами оплаты за подключение к чему-либо, размером взносов за возможность проехать на территорию, плата за вывоз мусора, и т.п..... ).
А также вызовом скорой помощи, пожарных, милиции, походом в поликлинику, школу, детсад......