"Отрываться", иными словами, - выражать свою агрессию - время от времени бывает человеку необходимо: для защиты своих границ, своих интересов.

Если вы не можете этого делать с посторонними, то, само собой, этот агрессивный заряд внутри вас накапливается, и проявляется в других ситуацях. У вас вот он выплёскивается в отношениях с близкими: могу предположить, что им достаётся и та агрессия, которая вызвана вовсе не ими.

Нужно учиться делать свою агрессию управляемой, и проявлять её именно там, где она возникает. Не накапливать. Тогда вы станете, возможно, менее удобной для посторонних людей, - но зато отношения с близкими войдут в гораздо более мирное русло. Для этого прежде всего хорошо бы сообразить, почему вы "наверное трус" в отношениях с посторонними, и как этого избежать. Это запрос для работы с психологом. :)