diff --git a/js/id/behavior/select.js b/js/id/behavior/select.js
index c0b942520..f3d52a71c 100644
--- a/js/id/behavior/select.js
+++ b/js/id/behavior/select.js
@@ -2,14 +2,20 @@ iD.behavior.Select = function(context) {
     var behavior = function(selection) {
         function click() {
             var datum = d3.event.target.__data__;
-            if (datum instanceof iD.Entity) {
-                if (d3.event.shiftKey) {
-                    context.enter(iD.modes.Select(context, context.selection().concat([datum.id])));
-                } else {
-                    context.enter(iD.modes.Select(context, [datum.id]));
-                }
-            } else if (!d3.event.shiftKey) {
+            if (!(datum instanceof iD.Entity) && !d3.event.shiftKey) {
                 context.enter(iD.modes.Browse(context));
+
+            } else if (!d3.event.shiftKey) {
+                context.enter(iD.modes.Select(context, [datum.id]));
+
+            } else if (context.selection().indexOf(datum.id) >= 0) {
+                var selection = _.without(context.selection(), datum.id);
+                context.enter(selection.length ?
+                    iD.modes.Select(context, selection) :
+                    iD.modes.Browse(context));
+
+            } else {
+                context.enter(iD.modes.Select(context, context.selection().concat([datum.id])));
             }
         }