Gọi số học sinh nam và số cây một học sinh nam trồng được lần lượt là:$a,t(a,t\in\mathbb{N^*})$

Số học sinh nữ: $13-a$

Số cây mỗi bạn nữ trồng được:$t-3$

Số cây các bạn nam trồng được:$at$

Số cây các bạn nữ trồng được:$(13-a)(t-3)$

Cả tổ trồng được 80 cây

$\Rightarrow at+(13-a)(t-3)=80\\ \Leftrightarrow 3a+13t=119$

Số cây các bạn nam trồng được và số cây các bạn nữ trồng được là bằng nhau

$\Rightarrow at=(13-a)(t-3)\\ \Leftrightarrow 2at−3a−13t+39=0$

Ta có hệ phương trình:

$\left\{\begin{array}{l} 3a+13t=119\\ 2at−3a−13t+39=0\end{array} \right.\\ \Leftrightarrow \left\{\begin{array}{l} 3a+13t=119\\ 2at=80\end{array} \right.\\ \Leftrightarrow \left\{\begin{array}{l} \dfrac{120}{t}+13t-119=0\\ a=\dfrac{40}{t}\end{array} \right.\\ \Leftrightarrow \left\{\begin{array}{l} 13t^2-119t+120=0\\ a=\dfrac{40}{t}\end{array} \right.\\ \Leftrightarrow \left[\begin{array}{l} \left\{\begin{array}{l} t=8\\ a=5\end{array} \right.\\ \left\{\begin{array}{l} t=\dfrac{15}{13}\\ a=\dfrac{104}{3}\end{array} \right.(L)\end{array} \right.$

Vậy số học sinh nam là $5$, số học sinh nữ là $13-5=8(hs)$