התשובה
שלום
נאמר במשנה מסכת מעשרות (פרק ג משנה ה)
"מצא קציצות בדרך אפי' בצד שדה קציצות וכן תאנה שהיא נוטה על דרך ומצא תחתיה תאנים מותרות משום גזל ופטורות מן המעשרות ובזיתים ובחרובים חייבים מצא גרוגרות אם דרסו רוב בני אדם חייב ואם לאו פטור" וכן נפסק ברמב"ם הלכות מעשר פרק ג הלכות כא -כד.
כלומר פירות שנשרו מן העץ ונמאסים פטורים מתרו"ת משום שהבעלים מפקיר האותם אך פירות שאינם נמאסים חייבים בתרו"מ משום שאין הבעלים מפקירים אותם. סיבת הפטור הוא ההפקר ולאו דווקא הנשירה. ובמקרה דידן שאינך מפקיר אותם הפירות חייבים הפירות בתרו"מ ובברכה.